forum.bitel.ru
http://forum.bitel.ru/

[6.1] ActiveMQ. Подскажите куда ковырять
http://forum.bitel.ru/viewtopic.php?f=22&t=10843		 Страница 1 из 1
Автор:  Phricker [ 01 сен 2015, 15:17 ]
Заголовок сообщения:  [6.1] ActiveMQ. Подскажите куда ковырять
Сегодня очень долго обрабатывались всякие события (например пришел платеж, а договор активируется через полчаса-час).
В консоли ActiveMQ в Number Of Pending Messages не было больших значений (в любом случае сейчас добавляю все это в zabbix, чтобы отслеживалось).

wrapper.log полон
Код:
INFO   | jvm 4    | 2015/09/01 08:57:33 |  WARN | Setup of JMS message listener invoker failed for destination 'example.A' - trying to recover. Cause: User bill is not authorized to read from: queue://example.A
INFO   | jvm 4    | 2015/09/01 08:57:33 |  INFO | Connector vm://localhost Stopped
INFO   | jvm 4    | 2015/09/01 08:57:33 |  WARN | Broker localhost not started so using activeMQ instead
INFO   | jvm 4    | 2015/09/01 08:57:33 |  INFO | Connector vm://localhost Started
INFO   | jvm 4    | 2015/09/01 08:57:38 |  WARN | Setup of JMS message listener invoker failed for destination 'example.A' - trying to recover. Cause: User bill is not authorized to read from: queue://example.A
INFO   | jvm 4    | 2015/09/01 08:57:38 |  INFO | Connector vm://localhost Stopped
INFO   | jvm 4    | 2015/09/01 08:57:38 |  WARN | Broker localhost not started so using activeMQ instead
INFO   | jvm 4    | 2015/09/01 08:57:38 |  INFO | Connector vm://localhost Started
INFO   | jvm 4    | 2015/09/01 08:57:44 |  WARN | Setup of JMS message listener invoker failed for destination 'example.A' - trying to recover. Cause: User bill is not authorized to read from: queue://example.A
INFO   | jvm 4    | 2015/09/01 08:57:44 |  INFO | Connector vm://localhost Stopped
INFO   | jvm 4    | 2015/09/01 08:57:44 |  WARN | Broker localhost not started so using activeMQ instead
INFO   | jvm 4    | 2015/09/01 08:57:44 |  INFO | Connector vm://localhost Started
Автор:  Amir [ 01 сен 2015, 16:57 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Файлов в data/kahadb много?
В логах сервера нет каких-нибудь множества постоянно выполняющихся событий, например, по таймеру?
В top какой load average? Диск не занят чем-нибудь?

Какая схема? PPPoE? Может быть проблемы с отправкой CoA/PoD - ответ не приходит?
Автор:  Phricker [ 01 сен 2015, 20:09 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Amir писал(а):
Файлов в data/kahadb много?

Код:
[root@bgbilling kahadb]# ls -l
итого 96896
-rw-r--r--. 1 root root 33030144 Сен  1 16:56 db-25947.log
-rw-r--r--. 1 root root 93216768 Сен  1 16:56 db.data
-rw-r--r--. 1 root root  3287296 Сен  1 16:56 db.redo
-rw-r--r--. 1 root root        0 Сен  1 10:00 lock


Amir писал(а):
В логах сервера нет каких-нибудь множества постоянно выполняющихся событий, например, по таймеру?

Сейчас включу логи на сервере буду наблюдать...

Amir писал(а):
В top какой load average? Диск не занят чем-нибудь?

top сервера биллинга или бд?

Amir писал(а):
Какая схема? PPPoE? Может быть проблемы с отправкой CoA/PoD - ответ не приходит?

PPPoE.

Обнаружил еще такое...
Я деактивирую тарифную опцию на договоре в 17:01:23.
connection.log по этому поводу отписывается только в 17:05:46
Код:
09-01/17:05:46  INFO [sa-p-13-t-39] ServiceActivatorDeviceWorker - Do task deviceId: 1663; Event[ru.bitel.bgbilling.modules.inet.access.sa.event.InetSaOptionsModifyEvent] moduleId: 12; pluginId: no; cid: 155760; scid: -1; userId: 0; deviceId: 1663; inetServId: 169362; connectionId: 0; options: 35; timestamp: 1441116346179
09-01/17:05:46  INFO [sa-p-13-t-23] ServiceActivatorDeviceWorker - Do task deviceId: 1714; Event[ru.bitel.bgbilling.modules.inet.access.sa.event.InetSaOptionsModifyEvent] moduleId: 12; pluginId: no; cid: 155760; scid: -1; userId: 0; deviceId: 1714; inetServId: 169362; connectionId: 25190947; options: 35; timestamp: 1441116346179


Текущие настройки железки
Код:
accounting.worker.1.event.tracking.1.batchSize=0
accounting.worker.1.event.tracking.1.delay.millis=200
accounting.worker.1.serv.tracking.1.accountingPeriodActivate=1
accounting.worker.1.serv.tracking.1.batchSize=0
accounting.worker.1.serv.tracking.1.delay=30
accounting.worker.1.tariffication.1.batchSize=1000
accounting.worker.1.tariffication.1.delay=10
accounting.worker.1.tariffication.1.minDeltaAmount=104857600
accounting.worker.1.tariffication.2.batchSize=1000
accounting.worker.1.tariffication.2.delay=20
accounting.worker.1.tariffication.2.minDeltaAmount=10485760
accounting.worker.1.tariffication.3.batchSize=1000
accounting.worker.1.tariffication.3.delay=30
accounting.worker.1.tariffication.3.minDeltaAmount=0
accounting.worker.1.thread.count=3
accounting.worker.1.tracking.1.batchSize=1000
accounting.worker.1.tracking.1.delay=10
accounting.worker.2.flushing.1.batchSize=1000
accounting.worker.2.flushing.1.delay=30
accounting.worker.2.flushing.1.minDeltaAccount=0
accounting.worker.2.flushing.1.minDeltaAmount=0
accounting.worker.2.thread.count=1
accounting.worker.3.finishing.1.batchSize=5000
accounting.worker.3.finishing.1.delay=5
accounting.worker.3.thread.count=1


По идее event.tracking должен сразу отдать событие?
Где то затык?
Автор:  Phricker [ 01 сен 2015, 20:19 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Еще например при деактивации опции в 17:11:22 выдало следующее
Цитата:
09-01/17:16:01 INFO [sa-p-13-t-86] ServiceActivatorDeviceWorker - Do task deviceId: 1663; Event[ru.bitel.bgbilling.modules.inet.access.sa.event.InetSaOptionsModifyEvent] moduleId: 12; pluginId: no; cid: 155760; scid: -1; userId: 0; deviceId: 1663; inetServId: 169362; connectionId: 0; options: 35; timestamp: 1441116961831
09-01/17:16:01 INFO [sa-p-13-t-23] ServiceActivatorDeviceWorker - Do task deviceId: 1714; Event[ru.bitel.bgbilling.modules.inet.access.sa.event.InetSaOptionsModifyEvent] moduleId: 12; pluginId: no; cid: 155760; scid: -1; userId: 0; deviceId: 1714; inetServId: 169362; connectionId: 25190947; options: 35; timestamp: 1441116961831
09-01/17:16:01 ERROR [sa-p-13-t-23] InetSaOptionsModifyEvent - Connection not found with id=25190947

Хотя соединение активно до сих пор.
Автор:  Amir [ 01 сен 2015, 21:15 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Цитата:
Я деактивирую тарифную опцию на договоре в 17:01:23.
connection.log по этому поводу отписывается только в 17:05:46
А в InetAccounting в какое время пишет "Sending events to modify"?
Автор:  Amir [ 01 сен 2015, 21:23 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Можно попробовать не 0 поставить:
accounting.worker.1.event.tracking.1.batchSize=0
accounting.worker.1.serv.tracking.1.batchSize=0
Автор:  Amir [ 01 сен 2015, 21:24 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Наверное, нужно сохранить вывод jstack для InetAccess и для InetAccouning.
Автор:  Amir [ 01 сен 2015, 21:25 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Также, если в модуле большое кол-во устройств (от 1000), то стоит перенести параметр accounting.deviceTypeIds из inet-access.xml в конфиг модуля.
Автор:  Amir [ 01 сен 2015, 21:46 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Цитата:
По идее event.tracking должен сразу отдать событие?
Вроде как да. Поэтому желательно посмотреть, когда появляется Sending events to modify и когда соответствующий Do task deviceId: 1663; Event[ru.bitel.bgbilling.modules.inet.access.sa.event.InetSaOptionsModifyEvent].
Автор:  skyb [ 02 сен 2015, 06:41 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Amir писал(а):
Также, если в модуле большое кол-во устройств (от 1000), то стоит перенести параметр accounting.deviceTypeIds из inet-access.xml в конфиг модуля.

например:
Код:
accounting.deviceTypeIds=4

? и именно в конфиг модуля, не в устройства и тд?
Автор:  Amir [ 02 сен 2015, 16:37 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Раньше этот параметр был указан в inet-access.xml, теперь мы рекомендуем его оттуда убирать и указывать именно в конфиге модуля.
Автор:  Phricker [ 16 окт 2015, 06:58 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Ошибки пропали после последнего апдейта.
При этом я обновил activemq до 5.7.0 c фтп.
Автор:  Phricker [ 16 окт 2015, 22:43 ]
Заголовок сообщения:  Re: [6.1] ActiveMQ. Подскажите куда ковырять
Кстати у вас по-умолчанию в 5.7.0 раскомментирована строка
Код:
<import resource="jetty.xml"/>

Не знаю намеренно или забыли закрыть обратно :)
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/