BiTel

Доброго времени суток!

Работал биллинг как часы. И вот надо было его сегодня перегрузить....
Обнаружил, что почему то появились сильнейшие тормоза при запуске как сервера, так и шедулера, даталоадера, радиуса... причем нетфлоу, который на отдельном сервере, но, разумеется, работает с той же базой - все нормально.
Запускаю шедулер, например:
Checking port 9066...
и все на 5-10 минут..
потом:
Port is free starting the applicalion...
Starting TEProccessManager on 9066
Creating socket on 9066

то же самое и с даталоадером. Как будто они не могут никак сокет создать, а потом почему-то получается.

При выключении:

./scheduler_stop.sh
Sending 'stop' on 127.0.0.1:9066

и висит.... сам делаю телнет на этот порт, пишу там stop - процесс шатдаунится!

С сервером и радиусом чуть по другому: висит на
Init DB connection pools
потом запускается.

думал что-то с базой - но ведь с нетфлоу на другом сервере все в порядке!

Никак не могу понять в чем причина. Посоветуйте что-нибудь, пожалуйста.

Проблема все еще актуальна!

Вот пробую остановить шедулер:

root@bgbilling:/usr/local/BGBillingServer# /opt/java/jre/bin/java -cp .:./lib/*: bitel.billing.server.TaskExecuter -estop
Sending 'stop' on 127.0.0.1:9066

все... висит!

делаю так:

root@bgbilling:/etc# telnet 127.0.0.1 9066
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
stop
ok
Connection closed by foreign host.

шедулер шатдаунится!

теперь запускаю:

root@bgbilling:/usr/local/BGBillingServer# /opt/java/jre/bin/java -cp .:./lib/*: bitel.billing.server.TaskExecuter -estart
Checking port 9066...

думает, думает, думает.... очень очень долго думает, потом:

Port is free starting the applicalion...
scheduler 12-24/13:13:01 INFO [main] DefaultServerSetup - Init DB connection pools
scheduler 12-24/13:13:02 INFO [main] DefaultServerSetup - Init trash pools..
Starting TEProccessManager on 9066
scheduler 12-24/13:13:02 INFO [main] TaskExecuter - Start TaskExecuter
Creating socket on 9066
scheduler 12-24/13:13:02 INFO [Thread-2] TaskExecuter - TaskExecuter => reloadTasks()
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.npay.Calculator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.rscm.Calculator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.contract.LimitRestorer
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.contract.ContractStatusSetter
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.admin.integration.PaymentLoader
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: ru.bitel.bgbilling.kernel.task.server.Validator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Starting periodic taks ID: 1 bitel.billing.server.npay.Calculator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Starting periodic taks ID: 2 bitel.billing.server.rscm.Calculator
scheduler 12-24/13:13:03 INFO [pool-2-thread-1] Calculator - Calculate current month
scheduler 12-24/13:13:03 INFO [pool-2-thread-1] Setup - Load config for mid=3
scheduler 12-24/13:13:03 INFO [Thread-2] PaymentLoader - Loaded 4 file types.
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Starting periodic taks ID: 7 bitel.billing.server.admin.integration.PaymentLoader
scheduler 12-24/13:13:03 INFO [pool-2-thread-3] PaymentLoader - Task finished time=22 ms.
scheduler 12-24/13:13:03 INFO [pool-2-thread-2] Calculator - Task finished time=80 ms.
scheduler 12-24/13:13:03 INFO [pool-2-thread-1] Calculator - Memory total: 57 147 392; max: 832 045 056; free: 53 347 152
scheduler 12-24/13:13:04 INFO [pool-2-thread-1] Calculator - Item count 1000
scheduler 12-24/13:13:05 INFO [pool-2-thread-1] Calculator - Setting balances for independ and subs..
scheduler 12-24/13:13:05 INFO [pool-2-thread-1] Calculator - Selected.
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Selecting sub account
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Selected.
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Setting balance for super..
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Selected.
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Task finished time=2969 ms.


Хотя бы где искать проблему?

Попробуйте в момент запуска посмотреть top. Что загружено. Может свопит что-то там?

Не... в момент запуска 6-7 процентов одного ядра занято джавой, load average = 0.08.

Там сетевые дела. Да и остановка тоже не работает. Причем не работает при stop через TaskExecuter, а если telnet'ом - то сразу останавливается. Как будто TaskExecuter не может сокет создать.

Вопрос к разработчикам -
Что именно делает шедулер (к примеру) после того как написал в логи:
Checking port 9066...

и до того как написал в логи:
Port is free starting the applicalion...

Только по подробнее, пожалуйста. Что-то из того, что он делает - его и тормозит. Если будет понятна последовательность действий, я, может, смогу найти причину.

открывается сокет и закрывается . больше ничего
System.out.println( "Checking port " + port + "..." );
..
ServerSocket s = new ServerSocket( port );
s.close();
..
System.out.println( "Port is free starting the applicalion..." );

Если так , то можно просто тест на яве сделать и он тоже будет также долго работать ..

мда... код максимально прост.

Нет никаких мыслей почему тормоза могут быть?

1) попробуйте какие нибудь другие службы поребутать (sshd, apache и т.д.) тормоза есть?
2) обновите java, если не последняя...
3) ребутнуть комп.

1) все остальное включается/выключается с молниеносной скоростью
2) уже, не помогло
3) уже, тоже не помогло

Вы не совсем правильно понимаете мою проблему - дело не просто в том, что биллинг медленно включается/выключается... это лишь следствие, того, что из джавы тормозит работа с созданием сокета: ведь если я телнечусть на соответствующий административный порт биллинга и пишу там stop - он МГНОВЕННО выключается, а script/bgscheduler stop висит, потому как не может сам соединится на этот порт! И поэтому же биллинг не может стартовать - очень долго создает сокет...
Не из джавы - все летает!

Собственно говоря может дело не в самой джаве, а в джавовских бгбиллинговских классах, так как вне биллинга джаву проверить я не могу - разве что вы мне подкинете какой-нить тестовый скриптик на работу с сокетами (если и он будет висеть - значит точно дело в самой джаве)

Но джаву-то я обновил!

И, что самое интересное, после того как сокет создается - все работает нормально!

мы используем стандартный класс создания сокета, и если до этого все работало, а сейчас перестало, проблема точно не в нашем коде...
я предпологаю, что проблема в сочетание Железо - ОС - ПО - Настройки
1) попробуйте запустить биллинг на другом компе, проблема воспроизводиться...?
2) посмотрите не было ли обновлений ОС в последнее время
3) настройки файрвола...
4) роутинг, настройки ДНС...

охотно верю

1) у меня netflow на другом сервере - там все нормально
2) нет, я обновляюсь в ручном режиме
3) правил, как раз перед возникновением проблемы (прочитал статью на wiki о безопасности бгбиллинга)... но - для теста ставил allow all - проблема остается
4) ну как может роутинг помешать создать локальный сокет... днс работает, да вообще все работает, кроме запуска/остановки биллинга!

Я уже все мозги сломал.

попробуйте отключить файрвол вообще....

Прошлый раз само прошло, теперь вот... опять... что делать? Помогите!

root@billing:/usr/local/BGBillingServer/script# ./bgdataloader stop
Sending 'stop' on 127.0.0.1:9033


и все... висит!

при этом в логах dataloader'а ничего нового нет!

проблема частная, надо разбираться на месте, мы только гадать можем...

этому тоже рад буду

что то похоже было, оказалось сервер был загружен запросами из внешки, не хватало сетевых потоков....

может быть, может быть... сейчас приходится перегружать сервер целиком, да и то вырубив все сервисы из автостарта и только когда биллинг загрузится (доолго) запускать их вручную...

У меня все же мысли, что дело в настройке джавы, вот к примеру в скрипте server.sh:

${JAVA_HOME}/bin/java -Dnetworkaddress.cache.ttl=3600 -Xmx256m -Djava.awt.headless=true -cp ${CLASSPATH} bitel.billing.server.Server $1 $2 $3

что такое -Xmx256m ? Может как-то надо затюнить это значение?

Это размер выделяемой памяти для приложения. Пишуться мегабайты

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений