BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 23 июн 2025, 11:48

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 19 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
mikos
 Заголовок сообщения: [BGB5.1] Перестает работать шедалер
СообщениеДобавлено: 27 окт 2010, 18:25 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
Добрый день.
Столкнулся с такой проблемой. Увеличили частоту запуска задачи "Проверка шлюзов IPN" до 4х раз в час. После этого шедалер живет порядка 5-6 часов и благополучно замерзает, молча, без ошибок в логе, процесс в памяти присутствует. Просто перестает работать и все. После перезапуска все опять оживает на указанный период.
В чем может быть проблема?
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 27 окт 2010, 19:45 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
вы же кажется писали в дургой теме, что шлюзов у вас там много скриптовых разных.. В них и дело скорее всего ..у вас в той теме вообще по 4 часа эта задача отрабатывала , разве нет ?
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 27 окт 2010, 20:08 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
Все верно, раньше отрабатывала 4 часа, на телнет-шлюзе микротика. Отказались от телнета, перешли на ssh - задача стала отрабатывать за 10 минут максимум, при наличии 4х шлюзов (два микротик, один cisco, и порядка 200 dlink).
Проблему вижу как раз в частоте, но что не так - не пойму и как продиагностировать не знаю. В логах пусто - просто не отрабатываются задачи и все.
Пока идея понаблюдать за состоянием планировщика, то, что выдается в биллинге в окошке...
Вернуться к началу
 Профиль  
 
skyb
СообщениеДобавлено: 28 окт 2010, 04:59 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
Код:
SELECT COUNT(*) FROM script_event_queue

Так ??

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 28 окт 2010, 12:53 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
skyb писал(а):
Код:
SELECT COUNT(*) FROM script_event_queue

Так ??

Нет :(
Код:
mysql> SELECT COUNT(*) FROM script_event_queue;
+----------+
| COUNT(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

Опять подвис. Накладываются задания, не успеваю завершаться?


Вложения:
Комментарий к файлу: Вот так
Picture 5.png
Picture 5.png [ 13.55 КБ | Просмотров: 6048 ]
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 28 окт 2010, 14:52 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
сделайте cat scheduler.log | grep finish | grep IPN
Вернуться к началу
 Профиль  
 
skyb
СообщениеДобавлено: 28 окт 2010, 17:54 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
mikos писал(а):
skyb писал(а):
Код:
SELECT COUNT(*) FROM script_event_queue

Так ??

Нет :(
Код:
mysql> SELECT COUNT(*) FROM script_event_queue;
+----------+
| COUNT(*) |
+----------+
|        0 |
+----------+
1 row in set (0.00 sec)

Опять подвис. Накладываются задания, не успеваю завершаться?

У меня подобное было, подумал мож что то схожее. Оказывается нет.

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 28 окт 2010, 20:11 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
stark писал(а):
сделайте cat scheduler.log | grep finish | grep IPN

Это нормально, что в логах закончилась задача, а в биллинге в состоянии планировщика аж 4шт числится?
Код:
10-28/11:22:35  INFO [pool-2-thread-4] IPNTestGates - Task finished time=453891 ms.
10-28/11:37:22  INFO [pool-2-thread-3] IPNTestGates - Task finished time=439230 ms.
10-28/11:52:16  INFO [pool-2-thread-2] IPNTestGates - Task finished time=435951 ms.
10-28/12:07:25  INFO [pool-2-thread-4] IPNTestGates - Task finished time=443809 ms.
10-28/12:37:20  INFO [pool-2-thread-4] IPNTestGates - Task finished time=439583 ms.
10-28/13:07:27  INFO [pool-2-thread-4] IPNTestGates - Task finished time=442683 ms.
10-28/13:37:18  INFO [pool-2-thread-4] IPNTestGates - Task finished time=435163 ms.
10-28/15:37:15  INFO [pool-2-thread-3] IPNTestGates - Task finished time=432534 ms.
10-28/16:07:20  INFO [pool-2-thread-5] IPNTestGates - Task finished time=439748 ms.
10-28/16:37:26  INFO [pool-2-thread-3] IPNTestGates - Task finished time=441464 ms.
10-28/17:37:24  INFO [pool-2-thread-3] IPNTestGates - Task finished time=442727 ms.
10-28/18:07:21  INFO [pool-2-thread-3] IPNTestGates - Task finished time=440787 ms.


Вложения:
tasks.png
tasks.png [ 13.15 КБ | Просмотров: 6036 ]
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 28 окт 2010, 20:12 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
Пока вроде живой...
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 28 окт 2010, 22:21 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
Так и есть - с очередным запуском появилась +1 в запущенных задачах (стало 5) и все, в логе шедалера последняя строчка
Код:
10-28/19:11:44  INFO [Thread-10] TaskRunProcessor - Running Task: bitel.billing.server.rscm.RSCMRecalculator@7baed5
10-28/19:11:44  INFO [pool-1-thread-3] Calculator - Task finished time=42 ms.

...и тишина.
Вернуться к началу
 Профиль  
 
Администратор
СообщениеДобавлено: 29 окт 2010, 10:11 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Выведите scheduler_status.sh, алармы не приходят о недостатке памяти?
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 29 окт 2010, 12:10 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
Администратор писал(а):
Выведите scheduler_status.sh, алармы не приходят о недостатке памяти?

Не приходят. Может конечно не настроено...

Код:
#./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 28.10.2010 20:30:38    Uptime: 0 d 13:46:43
Memory total: 346 488 832; max: 518 717 440; free: 129 523 152
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 6 914 688; peek: 6 920 000
Heap memory[PS Eden Space]: max: 54 394 880; used: 13 107 512; peek: 60 686 336
Heap memory[PS Survivor Space]: max: 327 680; used: 289 536; peek: 20 250 624
Heap memory[PS Old Gen]: max: 478 150 656; used: 203 568 632; peek: 401 858 920
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 19 296 224; peek: 19 296 224
Thread count: 73
Trees in cache: 34
Connections pool to Master status Idle: 3; Active: 10; maxActive: 300; maxIdle: 20


По логам опять замерз - последняя запись о завершении проверки шлюза DLINK, дальше тишина.
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 02 ноя 2010, 19:34 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
mikos писал(а):
stark писал(а):
сделайте cat scheduler.log | grep finish | grep IPN

Это нормально, что в логах закончилась задача, а в биллинге в состоянии планировщика аж 4шт числится?


я не наблюдаю этого по логу
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 02 ноя 2010, 19:36 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
снимите jstack . Скорее всего висит где-то в шлюзе ожидая ответа от оборудования, а timeout не настроен

Еще можно смотреть по фразам checking end . Они означают что конкретный шлюз закончил работу.
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 03 ноя 2010, 15:29 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
Цитата:
снимите jstack

А как это?
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 06 ноя 2010, 15:18 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
Вопрос все еще актуальный.
Вот как выглядит картина по логу шедалера:
Код:
11-05/14:01:00  INFO [Thread-5] TaskExecuter - Task: bitel.billing.server.ipn.IPNTestGates
11-05/14:04:00  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/14:07:14  INFO [pool-2-thread-2] IPNTestGates - Task finished time=194432 ms.
11-05/14:34:04  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/15:04:02  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - Task finished time=208803 ms.
11-05/15:34:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/16:04:04  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/16:07:15  INFO [pool-2-thread-2] IPNTestGates - Task finished time=190588 ms.
11-05/16:34:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/16:37:34  INFO [pool-2-thread-2] IPNTestGates - Task finished time=210924 ms.
11-05/17:04:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/17:07:32  INFO [pool-2-thread-3] IPNTestGates - Task finished time=210148 ms.
11-05/17:34:00  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/17:37:22  INFO [pool-2-thread-3] IPNTestGates - Task finished time=202008 ms.
11-05/18:04:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/18:07:31  INFO [pool-2-thread-2] IPNTestGates - Task finished time=207407 ms.
11-05/18:34:02  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/19:04:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/19:07:40  INFO [pool-2-thread-3] IPNTestGates - Task finished time=219271 ms.
11-05/19:34:04  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/19:39:26  INFO [pool-2-thread-3] IPNTestGates - Task finished time=321503 ms.
11-05/20:04:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/20:34:01  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/20:37:39  INFO [pool-2-thread-3] IPNTestGates - Task finished time=217556 ms.
11-05/21:04:00  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-05/21:07:49  INFO [pool-2-thread-3] IPNTestGates - Task finished time=229635 ms.
11-05/21:34:03  INFO [Thread-5] TaskExecuter - Starting periodic task ID: 1 bitel.billing.server.ipn.IPNTestGates
11-06/00:00:01  INFO [Thread-5] TaskExecuter - Task: bitel.billing.server.ipn.IPNTestGates

Задача запускается 2 раза в час. Как видно в 14:34, 15:34, 18:34 и в 20:04 задачи не были завершены.
Дольше всех отрабатывает один и тот же шлюз. Но в отличии от не завершенных задач, в нормально завершенных задачах, после отметки о завершении проверки этого шлюза, идут эти строчки:
Код:
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - Locked clients:
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - 21711;balance:-726.22;limit:-1.00
11-05/15:07:31  INFO [pool-2-thread-2] IPNTestGates - Task finished time=208803 ms.

Что не так? Как эту заразу уже выловить? Каждый день шедалер висит!
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 09 ноя 2010, 13:23 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
mikos писал(а):
Цитата:
снимите jstack

А как это?


http://wiki.bitel.ru/index.php/%D0%92%D ... 0%B8%D0%B9
Вернуться к началу
 Профиль  
 
mikos
СообщениеДобавлено: 29 ноя 2010, 03:10 
Не в сети
Аватара пользователя

Зарегистрирован: 23 мар 2009, 23:16
Сообщения: 780
Откуда: St.Petersburg
Карма: 0
В общем так и есть - не завершаются задачи обхода железок. Корявый стандартный snmp шлюз для dlink. Переделали на telnet - надеюсь поможет.
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 01 дек 2010, 16:26 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
mikos писал(а):
В общем так и есть - не завершаются задачи обхода железок. Корявый стандартный snmp шлюз для dlink. Переделали на telnet - надеюсь поможет.


Там есть timeout по дефолту . Странно что он не работает . А работа с snmp идет с помощью библиотеки . А подвисал стабильно или иногда ?
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 19 ] 

Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.055s | 56 Queries | GZIP : On ]