forum.bitel.ru
http://forum.bitel.ru/

[BGB5.1] Перестает работать шедалер
http://forum.bitel.ru/viewtopic.php?f=22&t=4719		 Страница 1 из 1
Автор:  mikos [ 27 окт 2010, 18:25 ]
Заголовок сообщения:  [BGB5.1] Перестает работать шедалер
Добрый день.
Столкнулся с такой проблемой. Увеличили частоту запуска задачи "Проверка шлюзов IPN" до 4х раз в час. После этого шедалер живет порядка 5-6 часов и благополучно замерзает, молча, без ошибок в логе, процесс в памяти присутствует. Просто перестает работать и все. После перезапуска все опять оживает на указанный период.
В чем может быть проблема?
Автор:  stark [ 27 окт 2010, 19:45 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
вы же кажется писали в дургой теме, что шлюзов у вас там много скриптовых разных.. В них и дело скорее всего ..у вас в той теме вообще по 4 часа эта задача отрабатывала , разве нет ?
Автор:  mikos [ 27 окт 2010, 20:08 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Все верно, раньше отрабатывала 4 часа, на телнет-шлюзе микротика. Отказались от телнета, перешли на ssh - задача стала отрабатывать за 10 минут максимум, при наличии 4х шлюзов (два микротик, один cisco, и порядка 200 dlink).
Проблему вижу как раз в частоте, но что не так - не пойму и как продиагностировать не знаю. В логах пусто - просто не отрабатываются задачи и все.
Пока идея понаблюдать за состоянием планировщика, то, что выдается в биллинге в окошке...
Автор:  skyb [ 28 окт 2010, 04:59 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Код:
SELECT COUNT(*) FROM script_event_queue

Так ??
Автор:  mikos [ 28 окт 2010, 12:53 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
skyb писал(а):
Код:
SELECT COUNT(*) FROM script_event_queue

Так ??

Нет :(
Код:
mysql> SELECT COUNT(*) FROM script_event_queue;
+----------+
| COUNT(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

Опять подвис. Накладываются задания, не успеваю завершаться?

Вложения:
Комментарий к файлу: Вот так
Picture 5.png
Picture 5.png [ 13.55 КБ | Просмотров: 6042 ]
Автор:  stark [ 28 окт 2010, 14:52 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
сделайте cat scheduler.log | grep finish | grep IPN
Автор:  skyb [ 28 окт 2010, 17:54 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
mikos писал(а):
skyb писал(а):
Код:
SELECT COUNT(*) FROM script_event_queue

Так ??

Нет :(
Код:
mysql> SELECT COUNT(*) FROM script_event_queue;
+----------+
| COUNT(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

Опять подвис. Накладываются задания, не успеваю завершаться?

У меня подобное было, подумал мож что то схожее. Оказывается нет.
Автор:  mikos [ 28 окт 2010, 20:11 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
stark писал(а):
сделайте cat scheduler.log | grep finish | grep IPN

Это нормально, что в логах закончилась задача, а в биллинге в состоянии планировщика аж 4шт числится?
Код:
10-28/11:22:35  INFO [pool-2-thread-4] IPNTestGates - Task finished time=453891 ms.
10-28/11:37:22  INFO [pool-2-thread-3] IPNTestGates - Task finished time=439230 ms.
10-28/11:52:16  INFO [pool-2-thread-2] IPNTestGates - Task finished time=435951 ms.
10-28/12:07:25  INFO [pool-2-thread-4] IPNTestGates - Task finished time=443809 ms.
10-28/12:37:20  INFO [pool-2-thread-4] IPNTestGates - Task finished time=439583 ms.
10-28/13:07:27  INFO [pool-2-thread-4] IPNTestGates - Task finished time=442683 ms.
10-28/13:37:18  INFO [pool-2-thread-4] IPNTestGates - Task finished time=435163 ms.
10-28/15:37:15  INFO [pool-2-thread-3] IPNTestGates - Task finished time=432534 ms.
10-28/16:07:20  INFO [pool-2-thread-5] IPNTestGates - Task finished time=439748 ms.
10-28/16:37:26  INFO [pool-2-thread-3] IPNTestGates - Task finished time=441464 ms.
10-28/17:37:24  INFO [pool-2-thread-3] IPNTestGates - Task finished time=442727 ms.
10-28/18:07:21  INFO [pool-2-thread-3] IPNTestGates - Task finished time=440787 ms.


Вложения:
tasks.png
tasks.png [ 13.15 КБ | Просмотров: 6030 ]
Автор:  mikos [ 28 окт 2010, 20:12 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Пока вроде живой...
Автор:  mikos [ 28 окт 2010, 22:21 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Так и есть - с очередным запуском появилась +1 в запущенных задачах (стало 5) и все, в логе шедалера последняя строчка
Код:
10-28/19:11:44  INFO [Thread-10] TaskRunProcessor - Running Task: bitel.billing.server.rscm.RSCMRecalculator@7baed5
10-28/19:11:44  INFO [pool-1-thread-3] Calculator - Task finished time=42 ms.

...и тишина.
Автор:  Администратор [ 29 окт 2010, 10:11 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Выведите scheduler_status.sh, алармы не приходят о недостатке памяти?
Автор:  mikos [ 29 окт 2010, 12:10 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Администратор писал(а):
Выведите scheduler_status.sh, алармы не приходят о недостатке памяти?

Не приходят. Может конечно не настроено...

Код:
#./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 28.10.2010 20:30:38    Uptime: 0 d 13:46:43
Memory total: 346 488 832; max: 518 717 440; free: 129 523 152
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 6 914 688; peek: 6 920 000
Heap memory[PS Eden Space]: max: 54 394 880; used: 13 107 512; peek: 60 686 336
Heap memory[PS Survivor Space]: max: 327 680; used: 289 536; peek: 20 250 624
Heap memory[PS Old Gen]: max: 478 150 656; used: 203 568 632; peek: 401 858 920
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 19 296 224; peek: 19 296 224
Thread count: 73
Trees in cache: 34
Connections pool to Master status Idle: 3; Active: 10; maxActive: 300; maxIdle: 20


По логам опять замерз - последняя запись о завершении проверки шлюза DLINK, дальше тишина.
Автор:  stark [ 02 ноя 2010, 19:34 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
mikos писал(а):
stark писал(а):
сделайте cat scheduler.log | grep finish | grep IPN

Это нормально, что в логах закончилась задача, а в биллинге в состоянии планировщика аж 4шт числится?


я не наблюдаю этого по логу
Автор:  stark [ 02 ноя 2010, 19:36 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
снимите jstack . Скорее всего висит где-то в шлюзе ожидая ответа от оборудования, а timeout не настроен

Еще можно смотреть по фразам checking end . Они означают что конкретный шлюз закончил работу.
Автор:  mikos [ 03 ноя 2010, 15:29 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Цитата:
снимите jstack

А как это?
Автор:  mikos [ 06 ноя 2010, 15:18 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
Вопрос все еще актуальный.
Вот как выглядит картина по логу шедалера:
Код:
11-05/14:01:00  INFO [Thread-5] TaskExecuter - Task: bitel.billing.server.ipn.IPNTestGates
11-05/14:04:00  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/14:07:14  INFO [pool-2-thread-2] IPNTestGates - Task finished time=194432 ms.
11-05/14:34:04  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/15:04:02  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - Task finished time=208803 ms.
11-05/15:34:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/16:04:04  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/16:07:15  INFO [pool-2-thread-2] IPNTestGates - Task finished time=190588 ms.
11-05/16:34:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/16:37:34  INFO [pool-2-thread-2] IPNTestGates - Task finished time=210924 ms.
11-05/17:04:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/17:07:32  INFO [pool-2-thread-3] IPNTestGates - Task finished time=210148 ms.
11-05/17:34:00  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/17:37:22  INFO [pool-2-thread-3] IPNTestGates - Task finished time=202008 ms.
11-05/18:04:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/18:07:31  INFO [pool-2-thread-2] IPNTestGates - Task finished time=207407 ms.
11-05/18:34:02  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/19:04:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/19:07:40  INFO [pool-2-thread-3] IPNTestGates - Task finished time=219271 ms.
11-05/19:34:04  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/19:39:26  INFO [pool-2-thread-3] IPNTestGates - Task finished time=321503 ms.
11-05/20:04:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/20:34:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/20:37:39  INFO [pool-2-thread-3] IPNTestGates - Task finished time=217556 ms.
11-05/21:04:00  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/21:07:49  INFO [pool-2-thread-3] IPNTestGates - Task finished time=229635 ms.
11-05/21:34:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-06/00:00:01  INFO [Thread-5] TaskExecuter - Task: bitel.billing.server.ipn.IPNTestGates

Задача запускается 2 раза в час. Как видно в 14:34, 15:34, 18:34 и в 20:04 задачи не были завершены.
Дольше всех отрабатывает один и тот же шлюз. Но в отличии от не завершенных задач, в нормально завершенных задачах, после отметки о завершении проверки этого шлюза, идут эти строчки:
Код:
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - Locked clients:
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - 21711;balance:-726.22;limit:-1.00
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - Task finished time=208803 ms.

Что не так? Как эту заразу уже выловить? Каждый день шедалер висит!
Автор:  stark [ 09 ноя 2010, 13:23 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
mikos писал(а):
Цитата:
снимите jstack

А как это?


http://wiki.bitel.ru/index.php/%D0%92%D ... 0%B8%D0%B9
Автор:  mikos [ 29 ноя 2010, 03:10 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
В общем так и есть - не завершаются задачи обхода железок. Корявый стандартный snmp шлюз для dlink. Переделали на telnet - надеюсь поможет.
Автор:  stark [ 01 дек 2010, 16:26 ]
Заголовок сообщения:  Re: [BGB5.1] Перестает работать шедалер
mikos писал(а):
В общем так и есть - не завершаются задачи обхода железок. Корявый стандартный snmp шлюз для dlink. Переделали на telnet - надеюсь поможет.


Там есть timeout по дефолту . Странно что он не работает . А работа с snmp идет с помощью библиотеки . А подвисал стабильно или иногда ?
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/