BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 29 мар 2024, 01:43

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 7 ] 
Автор Сообщение
 Заголовок сообщения: BGRadius виснет
СообщениеДобавлено: 02 мар 2017, 16:59 
Не в сети

Зарегистрирован: 26 июл 2010, 21:18
Сообщения: 70
Карма: 0
Добрый день.
Ситуация не нова, и продолжается уже несколько лет, но сейчас начала сильно сказываться на аптайме сервисов.
Суть проблемы:
При заливке новых данных в карты цен переодически виснет радиус. Причем нет разницы сколько строк обновляется, может повиснуть на 3х, а может без проблем залить 50к.
Начинает грузить на 100% процессор. Перестает отвечать на запросы, накапливает активные сессии и отъедает все больше памяти. В итоге либо все упирается в окончание активных сессии и появляется ошибка об лимите активных соединений, либо кончается отведенная ему память и появляется ошибка об окончании памяти. И далее ничего не происходит он так и висит ни на что не реагируя, пока его жестко на перезагрузишь.
Много игрался с настройками как радиуса так и бд. Разницы никакой не увидел. Да и часть из них я так и не понял за что отвечают.

Может подскажете куда смотреть или как где выловить ошибку чтобы вам передать.

Текущие настройки радиуса
db.maxIdle=20
db.maxActive=700
db.validationTimeout=10
auth.thread.queue=500
auth.thread.count=450
acct.thread.count=500
acct.thread.queue=450
auth.thread.must.be.free.count=10
acct.thread.must.be.free.count=10
db.trace=1

Текущая нагрузка:

version 7.0.190 / 02.12.2016 16:07:44
02.03.2017 14:54:44
Request accounts per minute: 1005
Request auths per minute accept: 1098; reject: 3
Ignore per minute auth: 0
Waiting connections: 5310
Started: 02.03.2017 14:37:57 Uptime: 0 d 00:16:47
Memory total: 4 018 667 520; max: 11 453 595 648; free: 2 256 044 784
Memory pools:
Non-heap memory[Code Cache]: max: 251 658 240; used: 21 370 240; peek: 21 766 912
Non-heap memory[Metaspace]: max: -1; used: 26 951 064; peek: 26 951 064
Non-heap memory[Compressed Class Space]: max: 1 073 741 824; used: 3 029 440; peek: 3 029 440
Heap memory[PS Eden Space]: max: 3 045 588 992; used: 1 067 804 136; peek: 1 744 306 176
Heap memory[PS Survivor Space]: max: 638 058 496; used: 47 608 336; peek: 667 941 912
Heap memory[PS Old Gen]: max: 8 589 934 592; used: 647 248 648; peek: 1 651 755 728
Thread count: 991
Trees in cache: 322
Connections pool to Master status Idle: 20; Active: 0; maxActive: 700; maxIdle: 20


Waiting connections - большое потому что не на все акксес-реквесты у нас приходят затем стоп пакеты. Это норма у нас и на работоспособности никогда не сказывалось будь там 5к как сейчас или 20к в пиках.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGRadius виснет
СообщениеДобавлено: 03 мар 2017, 15:07 
Не в сети
Аватара пользователя

Зарегистрирован: 27 янв 2010, 16:12
Сообщения: 941
Откуда: Уфа
Карма: 124
Это при любых изменениях в картах цен? Может зависит от какой то конкретной карты? или нет системы вообще никакой?

_________________
С уважением, Гареев Артур. Вежливый разработчик ООО "Бител".


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGRadius виснет
СообщениеДобавлено: 03 мар 2017, 15:09 
Не в сети
Аватара пользователя

Зарегистрирован: 27 янв 2010, 16:12
Сообщения: 941
Откуда: Уфа
Карма: 124
Реагирует ли сервер при этом? Т.е. можете зайти на него по ssh, посмотреть статус радиуса? Если это все возможно, то необходимо снять несколько jstack с интервалом в пару минут и потом прислать нам. Напишите лучше в HD

_________________
С уважением, Гареев Артур. Вежливый разработчик ООО "Бител".


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGRadius виснет
СообщениеДобавлено: 03 мар 2017, 16:05 
Не в сети

Зарегистрирован: 26 июл 2010, 21:18
Сообщения: 70
Карма: 0
-"Это при любых изменениях в картах цен? Может зависит от какой то конкретной карты? или нет системы вообще никакой?"
Ни от карты ни от количества не зависит. Висло однажды на обновлении географических кодов. Но они редко обновляются и не повторялось.

-"Реагирует ли сервер при этом? Т.е. можете зайти на него по ssh, посмотреть статус радиуса?"
И сам сервер в порядке и бд живая и главное клиент БГБилинга прекрасно работает. А вот у радиуса проц в полку от возможного и статус не показывает.
jstack я так понимаю в момент падения? Висеть ему пару минут непозволительно.

"Напишите лучше в HD" - Helpdesk?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGRadius виснет
СообщениеДобавлено: 06 мар 2017, 12:58 
Не в сети
Аватара пользователя

Зарегистрирован: 27 янв 2010, 16:12
Сообщения: 941
Откуда: Уфа
Карма: 124
Да, Helpdesk. Желательно хотя бы 2 - 3 jstack с интервалом 0.5-1 мин...Чтобы понять чем он занимаются.

_________________
С уважением, Гареев Артур. Вежливый разработчик ООО "Бител".


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGRadius виснет
СообщениеДобавлено: 20 мар 2017, 21:38 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
еще бы посмотреть
Код:
 show full process list
на базе в этот момент, скорее всего все в базу упирается, она лочит какие-то таблицы


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGRadius виснет
СообщениеДобавлено: 23 май 2017, 12:59 
Не в сети

Зарегистрирован: 26 июл 2010, 21:18
Сообщения: 70
Карма: 0
Проблема решена через HD, обновлением.
Спасибо.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.097s | 34 Queries | GZIP : On ]