forum.bitel.ru
http://forum.bitel.ru/

Зависание при переобсчете
http://forum.bitel.ru/viewtopic.php?f=10&t=5364
Страница 1 из 1

Автор:  SVK [ 14 апр 2011, 10:40 ]
Заголовок сообщения:  Зависание при переобсчете

Версия:
Цитата:
Клиент: вер. 5.1 сборка 501 от 12.04.2011 12:41:37
os:Windows 7; java:Sun Microsystems Inc., v.1.6.0_24
Сервер: вер. 5.1 сборка 621 от 12.04.2011 12:41:21
os:Linux; java:Sun Microsystems Inc., v.1.6.0_24

bill вер. 5.1 сборка 228 от 18.03.2011 15:54:08
card вер. 5.1 сборка 155 от 13.04.2011 17:28:52
email вер. 5.1 сборка 148 от 29.09.2010 13:00:35
gorod вер. 5.1 сборка 140 от 22.02.2011 17:40:16
mps вер. 5.1 сборка 158 от 13.04.2011 16:41:49
npay вер. 5.1 сборка 169 от 07.02.2011 19:19:27
phone вер. 5.1 сборка 257 от 08.04.2011 12:01:10
reports вер. 5.1 сборка 173 от 10.03.2011 17:08:39
ru.bitel.bgbilling.plugins.crm вер. 5.1 сборка 179 от 16.03.2011 20:29:17


При переобсчете телефонии на некоторое время намертво вешает сервер, после чего ошибки (см. вложения).
Вложение:
log.zip

Вложение:
server.mq.log

Причем такое наблюдается только при переобсчете.

В нормальном режиме, когда логи загружаются и обсчитываются один раз в день - все нормально.

Please, help!


Updated:

activemq висит...
Цитата:
[root@serv BGBillingServer]# ps ax | grep activemq
11868 ? Sl 0:00 /usr/activemq/bin/linux-x86-32/wrapper /usr/activemq/bin/linux-x86-32/wrapper.conf wrapper.syslog.ident=ActiveMQ wrapper.pidfile=/usr/activemq/bin/linux-x86-32/./ActiveMQ.pid wrapper.daemonize=TRUE wrapper.lockfile=/var/lock/subsys/ActiveMQ
13689 pts/3 S+ 0:00 grep activemq
[root@serv BGBillingServer]# /etc/init.d/activemq stop
Stopping ActiveMQ Broker...
Waiting for ActiveMQ Broker to exit...
Waiting for ActiveMQ Broker to exit...
Waiting for ActiveMQ Broker to exit...
Waiting for ActiveMQ Broker to exit...
Waiting for ActiveMQ Broker to exit...
Waiting for ActiveMQ Broker to exit...


Автор:  SVK [ 14 апр 2011, 11:33 ]
Заголовок сообщения:  Re: Зависание при переобсчете

Updated:
похоже, вешает систему dataloader. Уменьшаем ему памяти - система не вешается, но в dataloader.out

Цитата:
Java Runtime: Sun Microsystems Inc. Java HotSpot(TM) Client VM [1.6.0_24] /usr/java/jdk1.6.0_24/jre
Java endorsed dirs: /usr/java/jdk1.6.0_24/jre/lib/endorsed
OS: Linux 2.6.9-100.EL.plus.c4smp [i386], file.encoding: UTF-8, user.name: root
Heap sizes: current=15680k free=14065k max=506816k
Checking port 9033...
Port is free starting the applicalion...
Starting DLProcessManager on 9033
Creating socket on 9033
Exception in thread "Thread-0" 14.04.2011 11:21:29 java.lang.OutOfMemoryError: Java heap space
14.04.2011 11:21:29 at java.io.ByteArrayOutputStream.<init>(ByteArrayOutputStream.java:60)
14.04.2011 11:21:29 at ru.bitel.bgbilling.modules.phone.server.DataProcess.createWriters(DataProcess.java:453)
14.04.2011 11:21:29 at ru.bitel.bgbilling.modules.phone.server.DataProcess.proccessImpl(DataProcess.java:186)
14.04.2011 11:21:29 at ru.bitel.bgbilling.modules.phone.server.DataProcess.proccess(DataProcess.java:142)
14.04.2011 11:21:29 at bitel.billing.server.DataLoader.processData(DataLoader.java:458)
14.04.2011 11:21:29 at bitel.billing.server.DataLoader.run(DataLoader.java:228)


и переобсчет встает.

dataloader.error.log, server.error.log пустые.

Автор:  Администратор [ 14 апр 2011, 11:40 ]
Заголовок сообщения:  Re: Зависание при переобсчете

А сколько у него сейчас памяти?

Автор:  SVK [ 14 апр 2011, 11:42 ]
Заголовок сообщения:  Re: Зависание при переобсчете

Исторически было 1024М, поднимали до 1536М - вешает систему, вернули на 512М - встает dataloader

Автор:  Администратор [ 14 апр 2011, 11:43 ]
Заголовок сообщения:  Re: Зависание при переобсчете

Вы выбираете все логи и делаете "Добавить в обработку"? mysql сильно загружен?

Автор:  SVK [ 14 апр 2011, 11:44 ]
Заголовок сообщения:  Re: Зависание при переобсчете

Пугают:
Цитата:
04-14/11:39:36 INFO [pool-1-thread-4] dataloader - proccess [04-04-2011 11:00:00; mid => 1; param => 1] session inserted => 109601 ms.
04-14/11:39:56 INFO [pool-1-thread-5] dataloader - proccess [04-04-2011 12:00:00; mid => 1; param => 1] session inserted => 127170 ms.
04-14/11:40:28 INFO [pool-1-thread-6] dataloader - proccess [04-04-2011 13:00:00; mid => 1; param => 1] session inserted => 154806 ms.
04-14/11:41:02 INFO [pool-1-thread-7] dataloader - proccess [04-04-2011 14:00:00; mid => 1; param => 1] session inserted => 188507 ms.
04-14/11:41:44 INFO [pool-1-thread-8] dataloader - proccess [04-04-2011 15:00:00; mid => 1; param => 1] session inserted => 228955 ms.
04-14/11:42:07 INFO [pool-1-thread-9] dataloader - proccess [04-04-2011 16:00:00; mid => 1; param => 1] session inserted => 250285 ms.
04-14/11:42:36 INFO [pool-1-thread-10] dataloader - proccess [04-04-2011 17:00:00; mid => 1; param => 1] session inserted => 276143 ms.
04-14/11:42:58 INFO [pool-1-thread-1] dataloader - proccess [04-04-2011 18:00:00; mid => 1; param => 1] session inserted => 292384 ms.
04-14/11:43:09 INFO [pool-1-thread-2] dataloader - proccess [04-04-2011 19:00:00; mid => 1; param => 1] session inserted => 282689 ms.
04-14/11:43:21 INFO [pool-1-thread-3] dataloader - proccess [04-04-2011 20:00:00; mid => 1; param => 1] session inserted => 276955 ms.

Автор:  SVK [ 14 апр 2011, 11:45 ]
Заголовок сообщения:  Re: Зависание при переобсчете

Администратор писал(а):
Вы выбираете все логи и делаете "Добавить в обработку"? mysql сильно загружен?


Да, делаем "Добавить в обработку"
SQL грузится на 40%

mysql - Dual Xeon E5520 (16 core), 8G RAM

Автор:  SVK [ 14 апр 2011, 12:30 ]
Заголовок сообщения:  Re: Зависание при переобсчете

"Не зря мама говорила "читай мануалы"" (с)

Вобщем, сам тему поднял, сам и закрою.

Обобщу.
Перешли на новый SQL сервер. Сконвертировали MyISAM в InnoDB (для перехода на 5.2)

Дефолтные настройки для InnoDB, очевидно, вызывали долгую запись в таблицы, отсюда "нехватка" памяти для dataloader.

Вернул памяти dataloader'у 1024М, выставил в my.cnf:
Цитата:
innodb_buffer_pool_size = 5G
innodb_log_file_size = 128M
innodb_log_buffer_size = 8M
innodb_thread_concurrency = 8


Перезапустил mysql, BGBilling, запустил переобсчет - прошел без ошибок в логах, не висло, на память не ругалось

для примера в dataloader.log:
Цитата:
04-14/12:20:33 INFO [pool-1-thread-3] dataloader - proccess [13-04-2011 22:00:00; mid => 1; param => 1] session inserted => 788 ms.
04-14/12:20:33 INFO [pool-1-thread-4] dataloader - proccess [13-04-2011 23:00:00; mid => 1; param => 1] session inserted => 543 ms.


время сократилось в 100 раз.

Всем спасибо!

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/