forum.bitel.ru
http://forum.bitel.ru/

тормозит перезапуск
http://forum.bitel.ru/viewtopic.php?f=22&t=3359		 Страница 1 из 1
Автор:  survivor [ 22 дек 2009, 21:15 ]
Заголовок сообщения:  тормозит перезапуск
Доброго времени суток!

Работал биллинг как часы. И вот надо было его сегодня перегрузить....
Обнаружил, что почему то появились сильнейшие тормоза при запуске как сервера, так и шедулера, даталоадера, радиуса... причем нетфлоу, который на отдельном сервере, но, разумеется, работает с той же базой - все нормально.
Запускаю шедулер, например:
Checking port 9066...
и все на 5-10 минут..
потом:
Port is free starting the applicalion...
Starting TEProccessManager on 9066
Creating socket on 9066

то же самое и с даталоадером. Как будто они не могут никак сокет создать, а потом почему-то получается.

При выключении:

./scheduler_stop.sh
Sending 'stop' on 127.0.0.1:9066

и висит.... сам делаю телнет на этот порт, пишу там stop - процесс шатдаунится!

С сервером и радиусом чуть по другому: висит на
Init DB connection pools
потом запускается.

думал что-то с базой - но ведь с нетфлоу на другом сервере все в порядке!

Никак не могу понять в чем причина. Посоветуйте что-нибудь, пожалуйста.
Автор:  survivor [ 24 дек 2009, 15:14 ]
Заголовок сообщения:  Re: тормозит перезапуск
Проблема все еще актуальна!

Вот пробую остановить шедулер:

root@bgbilling:/usr/local/BGBillingServer# /opt/java/jre/bin/java -cp .:./lib/*: bitel.billing.server.TaskExecuter -estop
Sending 'stop' on 127.0.0.1:9066

все... висит!

делаю так:

root@bgbilling:/etc# telnet 127.0.0.1 9066
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
stop
ok
Connection closed by foreign host.

шедулер шатдаунится!

теперь запускаю:

root@bgbilling:/usr/local/BGBillingServer# /opt/java/jre/bin/java -cp .:./lib/*: bitel.billing.server.TaskExecuter -estart
Checking port 9066...

думает, думает, думает.... очень очень долго думает, потом:

Port is free starting the applicalion...
scheduler 12-24/13:13:01 INFO [main] DefaultServerSetup - Init DB connection pools
scheduler 12-24/13:13:02 INFO [main] DefaultServerSetup - Init trash pools..
Starting TEProccessManager on 9066
scheduler 12-24/13:13:02 INFO [main] TaskExecuter - Start TaskExecuter
Creating socket on 9066
scheduler 12-24/13:13:02 INFO [Thread-2] TaskExecuter - TaskExecuter => reloadTasks()
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.npay.Calculator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.rscm.Calculator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.contract.LimitRestorer
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.contract.ContractStatusSetter
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: bitel.billing.server.admin.integration.PaymentLoader
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Task: ru.bitel.bgbilling.kernel.task.server.Validator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Starting periodic taks ID: 1 bitel.billing.server.npay.Calculator
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Starting periodic taks ID: 2 bitel.billing.server.rscm.Calculator
scheduler 12-24/13:13:03 INFO [pool-2-thread-1] Calculator - Calculate current month
scheduler 12-24/13:13:03 INFO [pool-2-thread-1] Setup - Load config for mid=3
scheduler 12-24/13:13:03 INFO [Thread-2] PaymentLoader - Loaded 4 file types.
scheduler 12-24/13:13:03 INFO [Thread-2] TaskExecuter - Starting periodic taks ID: 7 bitel.billing.server.admin.integration.PaymentLoader
scheduler 12-24/13:13:03 INFO [pool-2-thread-3] PaymentLoader - Task finished time=22 ms.
scheduler 12-24/13:13:03 INFO [pool-2-thread-2] Calculator - Task finished time=80 ms.
scheduler 12-24/13:13:03 INFO [pool-2-thread-1] Calculator - Memory total: 57 147 392; max: 832 045 056; free: 53 347 152
scheduler 12-24/13:13:04 INFO [pool-2-thread-1] Calculator - Item count 1000
scheduler 12-24/13:13:05 INFO [pool-2-thread-1] Calculator - Setting balances for independ and subs..
scheduler 12-24/13:13:05 INFO [pool-2-thread-1] Calculator - Selected.
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Selecting sub account
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Selected.
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Setting balance for super..
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Selected.
scheduler 12-24/13:13:06 INFO [pool-2-thread-1] Calculator - Task finished time=2969 ms.


Хотя бы где искать проблему?
Автор:  Администратор [ 24 дек 2009, 16:08 ]
Заголовок сообщения:  Re: тормозит перезапуск
Попробуйте в момент запуска посмотреть top. Что загружено. Может свопит что-то там?
Автор:  survivor [ 24 дек 2009, 17:06 ]
Заголовок сообщения:  Re: тормозит перезапуск
Не... в момент запуска 6-7 процентов одного ядра занято джавой, load average = 0.08.

Там сетевые дела. Да и остановка тоже не работает. Причем не работает при stop через TaskExecuter, а если telnet'ом - то сразу останавливается. Как будто TaskExecuter не может сокет создать.
Автор:  survivor [ 24 дек 2009, 19:28 ]
Заголовок сообщения:  Re: тормозит перезапуск
Вопрос к разработчикам -
Что именно делает шедулер (к примеру) после того как написал в логи:
Checking port 9066...

и до того как написал в логи:
Port is free starting the applicalion...

Только по подробнее, пожалуйста. Что-то из того, что он делает - его и тормозит. Если будет понятна последовательность действий, я, может, смогу найти причину.
Автор:  stark [ 24 дек 2009, 20:04 ]
Заголовок сообщения:  Re: тормозит перезапуск
survivor писал(а):
Вопрос к разработчикам -
Что именно делает шедулер (к примеру) после того как написал в логи:
Checking port 9066...

и до того как написал в логи:
Port is free starting the applicalion...

Только по подробнее, пожалуйста. Что-то из того, что он делает - его и тормозит. Если будет понятна последовательность действий, я, может, смогу найти причину.


открывается сокет и закрывается . больше ничего
System.out.println( "Checking port " + port + "..." );
..
ServerSocket s = new ServerSocket( port );
s.close();
..
System.out.println( "Port is free starting the applicalion..." );

Если так , то можно просто тест на яве сделать и он тоже будет также долго работать ..
Автор:  survivor [ 24 дек 2009, 20:08 ]
Заголовок сообщения:  Re: тормозит перезапуск
мда... код максимально прост.

Нет никаких мыслей почему тормоза могут быть?
Автор:  skn [ 24 дек 2009, 22:58 ]
Заголовок сообщения:  Re: тормозит перезапуск
1) попробуйте какие нибудь другие службы поребутать (sshd, apache и т.д.) тормоза есть?
2) обновите java, если не последняя...
3) ребутнуть комп.
Автор:  survivor [ 25 дек 2009, 14:38 ]
Заголовок сообщения:  Re: тормозит перезапуск
skn писал(а):
1) попробуйте какие нибудь другие службы поребутать (sshd, apache и т.д.) тормоза есть?
2) обновите java, если не последняя...
3) ребутнуть комп.


1) все остальное включается/выключается с молниеносной скоростью :-)
2) уже, не помогло
3) уже, тоже не помогло

Вы не совсем правильно понимаете мою проблему - дело не просто в том, что биллинг медленно включается/выключается... это лишь следствие, того, что из джавы тормозит работа с созданием сокета: ведь если я телнечусть на соответствующий административный порт биллинга и пишу там stop - он МГНОВЕННО выключается, а script/bgscheduler stop висит, потому как не может сам соединится на этот порт! И поэтому же биллинг не может стартовать - очень долго создает сокет...
Не из джавы - все летает!
Автор:  survivor [ 25 дек 2009, 14:42 ]
Заголовок сообщения:  Re: тормозит перезапуск
Собственно говоря может дело не в самой джаве, а в джавовских бгбиллинговских классах, так как вне биллинга джаву проверить я не могу - разве что вы мне подкинете какой-нить тестовый скриптик на работу с сокетами (если и он будет висеть - значит точно дело в самой джаве)

Но джаву-то я обновил!

И, что самое интересное, после того как сокет создается - все работает нормально!
Автор:  skn [ 25 дек 2009, 15:35 ]
Заголовок сообщения:  Re: тормозит перезапуск
мы используем стандартный класс создания сокета, и если до этого все работало, а сейчас перестало, проблема точно не в нашем коде...
я предпологаю, что проблема в сочетание Железо - ОС - ПО - Настройки
1) попробуйте запустить биллинг на другом компе, проблема воспроизводиться...?
2) посмотрите не было ли обновлений ОС в последнее время
3) настройки файрвола...
4) роутинг, настройки ДНС...
Автор:  survivor [ 25 дек 2009, 16:05 ]
Заголовок сообщения:  Re: тормозит перезапуск
skn писал(а):
мы используем стандартный класс создания сокета, и если до этого все работало, а сейчас перестало, проблема точно не в нашем коде...
я предпологаю, что проблема в сочетание Железо - ОС - ПО - Настройки
1) попробуйте запустить биллинг на другом компе, проблема воспроизводиться...?
2) посмотрите не было ли обновлений ОС в последнее время
3) настройки файрвола...
4) роутинг, настройки ДНС...


охотно верю :-)

1) у меня netflow на другом сервере - там все нормально
2) нет, я обновляюсь в ручном режиме
3) правил, как раз перед возникновением проблемы (прочитал статью на wiki о безопасности бгбиллинга)... но - для теста ставил allow all - проблема остается
4) ну как может роутинг помешать создать локальный сокет... днс работает, да вообще все работает, кроме запуска/остановки биллинга!

Я уже все мозги сломал.
Автор:  skn [ 25 дек 2009, 20:36 ]
Заголовок сообщения:  Re: тормозит перезапуск
попробуйте отключить файрвол вообще....
Автор:  survivor [ 06 май 2010, 20:19 ]
Заголовок сообщения:  Re: тормозит перезапуск
Прошлый раз само прошло, теперь вот... опять... что делать? Помогите!
Автор:  survivor [ 07 май 2010, 14:18 ]
Заголовок сообщения:  Re: тормозит перезапуск
root@billing:/usr/local/BGBillingServer/script# ./bgdataloader stop
Sending 'stop' on 127.0.0.1:9033


и все... висит!

при этом в логах dataloader'а ничего нового нет!
Автор:  skn [ 07 май 2010, 14:40 ]
Заголовок сообщения:  Re: тормозит перезапуск
проблема частная, надо разбираться на месте, мы только гадать можем... :-(
Автор:  survivor [ 07 май 2010, 16:35 ]
Заголовок сообщения:  Re: тормозит перезапуск
skn писал(а):
проблема частная, надо разбираться на месте, мы только гадать можем... :-(


этому тоже рад буду :)
Автор:  skn [ 07 май 2010, 19:11 ]
Заголовок сообщения:  Re: тормозит перезапуск
что то похоже было, оказалось сервер был загружен запросами из внешки, не хватало сетевых потоков....
Автор:  survivor [ 02 июн 2010, 21:15 ]
Заголовок сообщения:  Re: тормозит перезапуск
skn писал(а):
что то похоже было, оказалось сервер был загружен запросами из внешки, не хватало сетевых потоков....


может быть, может быть... сейчас приходится перегружать сервер целиком, да и то вырубив все сервисы из автостарта и только когда биллинг загрузится (доолго) запускать их вручную...
Автор:  survivor [ 02 июл 2010, 14:14 ]
Заголовок сообщения:  Re: тормозит перезапуск
У меня все же мысли, что дело в настройке джавы, вот к примеру в скрипте server.sh:

${JAVA_HOME}/bin/java -Dnetworkaddress.cache.ttl=3600 -Xmx256m -Djava.awt.headless=true -cp ${CLASSPATH} bitel.billing.server.Server $1 $2 $3

что такое -Xmx256m ? Может как-то надо затюнить это значение?
Автор:  skyb [ 02 июл 2010, 22:50 ]
Заголовок сообщения:  Re: тормозит перезапуск
survivor писал(а):
У меня все же мысли, что дело в настройке джавы, вот к примеру в скрипте server.sh:

${JAVA_HOME}/bin/java -Dnetworkaddress.cache.ttl=3600 -Xmx256m -Djava.awt.headless=true -cp ${CLASSPATH} bitel.billing.server.Server $1 $2 $3

что такое -Xmx256m ? Может как-то надо затюнить это значение?

Это размер выделяемой памяти для приложения. Пишуться мегабайты
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/