BiTel

Симптомы:
Биллинг перестал отвечать на запросы клиентов и перестал пускать пользователей в личный кабинет.

Отмечается высокий рост загрузки CPU на сервере:

Cpu(s): 99.8%us, 0.2%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 8177256k total, 8130032k used, 47224k free, 84440k buffers
Swap: 10223608k total, 108k used, 10223500k free, 6017860k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10134 root 21 0 1081m 347m 10m S 397.3 4.4 904:05.15 java

ps -aux

root 10134 6.7 4.3 1107812 356092 ? Sl Jul23 978:45 /usr/bin/java -Dapp.name=BGBillingServer -Dnetworkaddress.cache.ttl=3600 -Xmx640m -cp .:./lib/* ru.bitel.common.bootstrap.Boot bitel.billing.server.Server start

В mysql:
>show full procеsslist все процессы в статусе sleep


# ./data_loader_status.sh
Sending 'status' on 127.0.0.1:9033
Result: DataLoader working
Started: 11.07.2010 20:24:15 Uptime: 21 d 16:12:22
Memory total: 7 995 392; max: 238 616 576; free: 2 423 960
Trees in cache: 0
Connections pool to Master status Idle: 2; Active: 1; maxActive: 300; maxIdle: 20
Connections pool to Trash "trash_1" status Idle: 0; Active: 0; maxActive: 4; maxIdle: 10

# ./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 11.07.2010 20:24:16 Uptime: 21 d 16:12:25
Memory total: 201 719 808; max: 238 616 576; free: 150 161 968
Trees in cache: 51
Connections pool to Master status Idle: 5; Active: 0; maxActive: 300; maxIdle: 20
Connections pool to Trash "trash_1" status Idle: 0; Active: 0; maxActive: 4; maxIdle: 10

# ./server_status.sh
BGBillingServer v 4.6 build 661 from 28.01.2010 14:44:35
Started: 23.07.2010 10:33:16 Uptime: 10 d 02:03:30
Memory total: 153 747 456; max: 596 574 208; free: 12 579 592
Connections pool to Master status Idle: 18; Active: 2; maxActive: 300; maxIdle: 20
Connections pool to Trash "trash_1" status Idle: 1; Active: 0; maxActive: 4; maxIdle: 10

Версия сервера 4.6

Подскажите, в чем может быть дело, как проблему локализовать и решить.

После перезагрузки проблема появляется сразу?

Попробуйте подправить скрипт запуска, добавить
-agentlib:hprof=cpu=samples,file=hprof.txt
Т.е.в
Потом перезапустить, подождать минуту-две, пока будет высокая загрузка, остановить и показать то что появится в файлике hprof.txt
Также еще можно выполнить при запущенном процессе с высокой загрузкой и выложить сюда. Для последнего нужно установленное JDK.

В настоящее время проблема решена остановкой и запуском (server_stop.sh, server_start.sh) сервера.
На текущий момент загрузка CPU в норме.
При повторении ситуации воспользуюсь советом.

Попутно вопрос - какую версию java лучше поставить?
Сейчас:
Java(TM) SE Runtime Environment (build 1.6.0_14-b08)
Java HotSpot(TM) 64-Bit Server VM (build 14.0-b16, mixed mode)

Нужно ли обовляться?
Какой JDK лучше поставить - от SUN или OpenJDK?

от Sun. Лучше последнюю.

Опять случилась описанная в первом сообщении ситуация - загрузка CPU сервера на 100%.

Исправил скрипт server.sh:

добавил -agentlib:hprof=cpu=samples,file=hprof.txt -Djava.net.preferIPv4Stack=true.
Стало:


Затем выполнил
server_stop.sh и server_start.sh

в текущей директории появился файл hprof.txt

Содержимое - в приложении.

Кстати, я когда делал jstack, то нашел его вывод в server.out.

Так как сервер не был остановлен в файле нет никакой информации по нему.

Amir, по моему я недопонял, что нужно длать.

Хронология моих действий:
1. процесс сервера стал занимать много ресурсов CPU
2. Я модифицировал скрипт запуска (server.sh), добавив -agentlib:hprof=cpu=samples,file=hprof.txt -Djava.net.preferIPv4Stack=true
3. Остановил сервер (server_stop.sh), появился файл hprof.txt

4. Запустил сервер (server_start.sh)
5. Остановил сервер (server_stop.sh)

Возможно надо было останавливать сервер сигналом "kill -9 pid" а не скриптом?
Или сделать как написано в файле?
They can also be obtained during program execution by typing
Ctrl-\ (on Solaris) or by typing Ctrl-Break (on Win32)

Сейчас у меня сервер запущен с параметром -agentlib:hprof=cpu=samples,file=hprof.txt
Загрузка в пределах нормы.
Когда загузка CPU вновь возрастет и я остановлю сервер скриптом server_stop.sh, это будет корректно?
Сохранится ли необходимая информация в файл?

Сейчас устанавливаю JDK, при следующем инциденте пришлю еще стек.

Хм... С такими параметрами при останове сервера информация сохраняется в файл.
После Но в присланном почему-то ничего нет.

Вновь проблема. Сервер не отвечает.
При попытке выключить его скриптом ./server_stop.sh, получилось следущее:


Удалось снять jstack и в файле hprof.txt появилась полезная информация (см. прикрепленные файлы):

а у вас в логах(server.log, server.out) точно нет сообщений типа java heap space , out of memory? . Может он частично упал по нехватке памяти

В логах фраза "out of memory" не встречатся.

Когда процессу billing-а не хватало памяти он писал на почту:


Эта ситуация была исправлена так, как написано в документации, модифицирован стартовый скрипт, параметр -Xmx640m (640 Мбайт)

Вопрос все еще актуален.

В момент такой загрузки что top показывает, CPU занимает java процесс?

Вчера столкнулся с похожей проблемой.
ява отжирала озу вплоть до того, что в логах DialUp писало out of memory.
Как оказалось - какой то умный абонент поставил себе автозвонилку. Как следствие каждые 3 секунды запрос авторизации.
Включил антиспам - сразу 80% озу освободилось

_________________
Цитаты великих людей
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn

если у вас linux то для поиска процесса и сколько он памяти отжирает можно заюзать программу htop
ну это так, мож понадобиться

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений