forum.bitel.ru • Просмотр темы - [6.2] Загрузка одного из ядер на 100%

Сообщения без ответов | Активные темы

Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]

[6.2] Загрузка одного из ядер на 100%

Страница 1 из 1

[ Сообщений: 19 ]

Версия для печати

Пред. тема | След. тема

Автор

Сообщение

chedmi

Заголовок сообщения: [6.2] Загрузка одного из ядер на 100%

Добавлено: 20 май 2016, 16:57

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

Добрый день.
Начиная со вчерашнего дня одно из ядер загрузилось на 100%.
Процесс BGBillingServer (pid=15700).
Изучение потоков внутри процесса показало, что загружает процессор один и тот же поток с id 15778.
В прикрепленных скриншотах все видно.
Вопрос - могут ли у нас быть проблемы при дальнейшем росте нагрузки на BGBillingServer ?
И последний вопрос - что можно подкрутить в настройках БГБиллинг, чтобы оптимизировать/уменьшить загрузку ?

PS ссылка на похожую тему
http://www.linux.org.ru/forum/admin/8713137

Вложения:

2.jpg [ 282.25 КБ | Просмотров: 8302 ]

1.jpg [ 360.6 КБ | Просмотров: 8302 ]

Последний раз редактировалось chedmi 23 май 2016, 18:57, всего редактировалось 2 раз(а).

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 20 май 2016, 17:47

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

Еще дополнение - на остальных процессах (BGInetAccess,BGDataLoader и тп) распределение выполнения по нитям нормальное. В каждом из процессов в работе нити участвуют намного равномернее. Только один процесс BGBillingServer грешит тем, что все валит на одну нить.
Например BGInetAccounting вот что показывает:

Код:

ps -T -p 16521
  PID  SPID TTY          TIME CMD
16521 ?        00:00:00 java
16524 ?        00:00:03 java
16525 ?        00:00:59 java
16526 ?        00:00:59 java
16527 ?        00:01:00 java
16528 ?        00:00:59 java
16529 ?        00:00:59 java
16530 ?        00:01:00 java
16531 ?        00:00:59 java
16532 ?        00:01:00 java
16533 ?        00:00:59 java
16534 ?        00:00:59 java
16535 ?        00:00:59 java
16536 ?        00:01:00 java
16537 ?        00:00:59 java
16538 ?        00:00:59 java
16539 ?        00:00:59 java
16540 ?        00:00:59 java
16541 ?        00:01:00 java
16542 ?        00:00:59 java
16543 ?        00:04:42 java
16544 ?        00:01:14 java
16545 ?        00:01:13 java
16546 ?        00:00:00 java
16547 ?        00:00:27 java
16548 ?        00:00:26 java
16549 ?        00:00:28 java
16550 ?        00:00:27 java
16551 ?        00:00:26 java
16552 ?        00:00:28 java
16553 ?        00:00:29 java
16554 ?        00:00:26 java
16555 ?        00:00:22 java
16556 ?        00:00:22 java
16558 ?        00:00:22 java
16560 ?        00:00:22 java
16561 ?        00:00:00 java
16562 ?        00:00:03 java
16563 ?        00:36:16 java
16569 ?        00:00:00 java
16576 ?        00:40:28 java
16577 ?        00:00:23 java
16582 ?        00:18:47 java
16583 ?        00:00:52 java
16587 ?        00:00:37 java
16590 ?        00:00:00 java
16593 ?        00:01:00 java
16595 ?        00:00:04 java
16596 ?        00:00:21 java
16614 ?        00:00:27 java
16625 ?        00:00:12 java
16626 ?        00:28:03 java
16627 ?        00:28:04 java
16688 ?        00:08:42 java
16693 ?        00:00:36 java
16701 ?        00:00:37 java
16753 ?        01:07:41 java
16754 ?        01:07:52 java
16755 ?        02:03:15 java
16756 ?        00:04:18 java
16757 ?        00:00:29 java
16758 ?        00:01:23 java
16759 ?        00:01:23 java
16769 ?        03:29:03 java
16770 ?        00:00:00 java
16787 ?        00:43:18 java
16868 ?        00:43:24 java
16902 ?        00:43:22 java
16927 ?        00:02:34 java
16999 ?        00:43:23 java
17029 ?        00:43:23 java
17054 ?        00:43:22 java
17082 ?        00:43:26 java
17116 ?        00:43:25 java
17157 ?        00:43:23 java
17182 ?        00:43:22 java
17564 ?        00:00:11 java
22079 ?        00:00:00 java
24358 ?        00:00:00 java
16521  9117 ?        00:00:00 java
16521  3872 ?        00:00:36 java
16521  1527 ?        00:01:26 java
16521  1914 ?        00:00:00 java
16521  2243 ?        00:00:00 java
22563 ?        00:00:00 java
27142 ?        00:00:00 java
27183 ?        00:00:00 java
16521  5435 ?        00:00:02 java
16521  8178 ?        00:00:00 java
12270 ?        00:00:00 java
12317 ?        00:00:00 java
17289 ?        00:00:00 java

Последний раз редактировалось chedmi 23 май 2016, 13:43, всего редактировалось 1 раз.

Вернуться к началу

skn

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 20 май 2016, 17:47

Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187

есть консольная утилита jstack
с помощью которой можно выяснить что именно грузит проц.

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 12:58

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

Спасибо. Поток определил.

"Service Thread" #17 daemon prio=9 os_prio=0 tid=0x00007fafbc0f8800 nid=0x3da2 runnable [0x0000000000000000]
java.lang.Thread.State: RUNNABLE

Что теперь я с этим могу сделать ?

Вернуться к началу

skn

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 13:22

Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187

chedmi писал(а):

ну а какой там код?

Вернуться к началу

stark

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 13:25

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

весь jtsack нужен. С чего вы решили что именно этот поток? И еще желательно несколько jtsack с интервалом снять чтобы сравнить.

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 13:35

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

Я не решил, мне это показывает вывод htop и ps -T -p 15700. Там такой фрагмент есть

15700 15777 ? 00:00:30 java
15700 15778 ? 4-03:07:18 java
15700 15779 ? 00:00:03 java
15700 15780 ? 00:37:55 java
15700 15783 ? 00:00:26 java
15700 15784 ? 00:19:42 java

Поток с id 15778 в общем списке потоков проводит на процессоре несоизмеримо больше времени, чем остальные, его шестнадцатеричное представление 0x3da2 (nid=0x3da2).

Подробнее здесь:
https://habrahabr.ru/post/153135/

Последний раз редактировалось chedmi 23 май 2016, 13:41, всего редактировалось 1 раз.

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 13:36

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

[root@bill BGBillingServer]# jstack 15700

Код:

2016-05-23 11:35:26
Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.65-b01 mixed mode):

"http-bio-0.0.0.0-8080-exec-85" #623851 daemon prio=5 os_prio=0 tid=0x00007fae7c00f000 nid=0x754f waiting on condition [0x00007faf93afd000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-83" #623844 daemon prio=5 os_prio=0 tid=0x00007fae7c00c000 nid=0x7537 waiting on condition [0x00007faf9021b000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-82" #623843 daemon prio=5 os_prio=0 tid=0x00007fae7c00b000 nid=0x7535 waiting on condition [0x00007faf9bfa5000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-81" #623841 daemon prio=5 os_prio=0 tid=0x00007fae7c009800 nid=0x7533 waiting on condition [0x00007faf93dfe000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-80" #623840 daemon prio=5 os_prio=0 tid=0x00007fae7c008800 nid=0x7532 waiting on condition [0x00007faf9a4e4000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-79" #623839 daemon prio=5 os_prio=0 tid=0x00007fae7c007800 nid=0x7530 waiting on condition [0x00007faf935f8000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-78" #623838 daemon prio=5 os_prio=0 tid=0x00007fae7c006800 nid=0x752f waiting on condition [0x00007faf939fc000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-77" #623837 daemon prio=5 os_prio=0 tid=0x00007fae7c004800 nid=0x752b runnable [0x00007faf8bbfc000]
   java.lang.Thread.State: RUNNABLE
        at java.net.SocketInputStream.socketRead0(Native Method)
        at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        at java.net.SocketInputStream.read(SocketInputStream.java:170)
        at java.net.SocketInputStream.read(SocketInputStream.java:141)
        at org.apache.coyote.http11.InternalInputBuffer.fill(InternalInputBuffer.java:519)
        at org.apache.coyote.http11.InternalInputBuffer.fill(InternalInputBuffer.java:504)
        at org.apache.coyote.http11.Http11Processor.setRequestLineReadTimeout(Http11Processor.java:167)
        at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:986)
        at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:611)
        at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:316)
        - locked <0x00000000fab38430> (a org.apache.tomcat.util.net.SocketWrapper)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"Attach Listener" #613623 daemon prio=9 os_prio=0 tid=0x00007faf08001000 nid=0x44b2 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"http-bio-0.0.0.0-8080-exec-76" #610518 daemon prio=5 os_prio=0 tid=0x00007fae94001800 nid=0x9ff waiting on condition [0x00007faf98994000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-exec-49" #598991 daemon prio=5 os_prio=0 tid=0x00007fae7c001800 nid=0x40de waiting on condition [0x00007faf938fb000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f09e7dc0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:104)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:32)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:745)

"pool-4-thread-1" #598753 prio=5 os_prio=0 tid=0x00007fae6c0fe000 nid=0x3bab waiting on condition [0x00007faf9a8e8000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f45cc158> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ArrayBlockingQueue.take(ArrayBlockingQueue.java:403)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

"MySQL Statement Cancellation Timer" #598131 daemon prio=7 os_prio=0 tid=0x00007fae5000a000 nid=0x31e0 in Object.wait() [0x00007faf9a7e7000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.util.TimerThread.mainLoop(Timer.java:552)
        - locked <0x00000000f3d94b58> (a java.util.TaskQueue)
        at java.util.TimerThread.run(Timer.java:505)

"InactivityMonitor WriteCheck" #594645 daemon prio=5 os_prio=0 tid=0x00007fae20004000 nid=0x762c in Object.wait() [0x00007faf9a5e5000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.util.TimerThread.mainLoop(Timer.java:552)
        - locked <0x00000000f32f0858> (a java.util.TaskQueue)
        at java.util.TimerThread.run(Timer.java:505)

"InactivityMonitor ReadCheck" #594644 daemon prio=5 os_prio=0 tid=0x00007fae2000d000 nid=0x762b in Object.wait() [0x00007faf9a6e6000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.util.TimerThread.mainLoop(Timer.java:552)
        - locked <0x00000000f32e8e60> (a java.util.TaskQueue)
        at java.util.TimerThread.run(Timer.java:505)

"Selector Worker: 1" #594637 daemon prio=5 os_prio=0 tid=0x00007faeac00a000 nid=0x7610 runnable [0x00007faf9aeec000]
   java.lang.Thread.State: RUNNABLE
        at sun.nio.ch.EPollArrayWrapper.epollWait(Native Method)
        at sun.nio.ch.EPollArrayWrapper.poll(EPollArrayWrapper.java:269)
        at sun.nio.ch.EPollSelectorImpl.doSelect(EPollSelectorImpl.java:79)
        at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86)
        - locked <0x00000000f32fe6b8> (a sun.nio.ch.Util$2)
        - locked <0x00000000f32fe6a8> (a java.util.Collections$UnmodifiableSet)
        - locked <0x00000000f32ec610> (a sun.nio.ch.EPollSelectorImpl)
        at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97)
        at org.apache.activemq.transport.nio.SelectorWorker.run(SelectorWorker.java:93)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

"MySQL Statement Cancellation Timer" #377861 daemon prio=1 os_prio=0 tid=0x00007fae54008800 nid=0x5811 in Object.wait() [0x00007faf9abe9000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.Object.wait(Object.java:502)
        at java.util.TimerThread.mainLoop(Timer.java:526)
        - locked <0x00000000f24325a0> (a java.util.TaskQueue)
        at java.util.TimerThread.run(Timer.java:505)

"MySQL Statement Cancellation Timer" #377416 daemon prio=1 os_prio=0 tid=0x00007fae740c3800 nid=0x5046 in Object.wait() [0x00007faf92bf2000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.util.TimerThread.mainLoop(Timer.java:552)
        - locked <0x00000000f2425778> (a java.util.TaskQueue)
        at java.util.TimerThread.run(Timer.java:505)

"AddressUpdater-p-6-t-1" #213170 prio=5 os_prio=0 tid=0x00007fae740c0800 nid=0x2e85 waiting on condition [0x00007faf9051c000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f1bb67f8> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ArrayBlockingQueue.take(ArrayBlockingQueue.java:403)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:46)

"pool-3-thread-1" #99400 prio=5 os_prio=0 tid=0x00007fae5c067000 nid=0x319f waiting on condition [0x00007faf9061d000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f2282568> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

"evpool-pblsh-p-7-t-2" #70794 prio=5 os_prio=0 tid=0x00007fae6408c000 nid=0x51e6 waiting on condition [0x00007faf932f5000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f21c4688> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1081)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:46)

"evpool-pblsh-p-7-t-1" #69078 prio=5 os_prio=0 tid=0x00007fae5811e000 nid=0x32b8 waiting on condition [0x00007faf933f6000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f21c4688> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1081)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:46)

"Thread-75" #56493 daemon prio=5 os_prio=0 tid=0x00007fae50021800 nid=0x4e1a waiting on condition [0x00007faf92cf3000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at bitel.billing.server.tariff.TariffTreeBuilder$1.run(TariffTreeBuilder.java:556)

"Java2D Disposer" #15845 daemon prio=10 os_prio=0 tid=0x00007fae483f1000 nid=0x63b3 in Object.wait() [0x00007faf934f7000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143)
        - locked <0x00000000f1f7f9d0> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:164)
        at sun.java2d.Disposer.run(Disposer.java:148)
        at java.lang.Thread.run(Thread.java:745)

"Thread-12" #130 daemon prio=5 os_prio=0 tid=0x00007faea01fc800 nid=0x44f4 waiting on condition [0x00007faf9932f000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at bitel.billing.server.util.FileUtils$a.run(SourceFile:422)

"ThreadService-0" #79 daemon prio=5 os_prio=0 tid=0x00007faed4004800 nid=0x3ee1 in Object.wait() [0x00007faf9adeb000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.Object.wait(Object.java:502)
        at com.sun.jmx.snmp.tasks.ThreadService$ExecutorThread.run(ThreadService.java:180)
        - locked <0x00000000f001f858> (a java.util.ArrayList)

"event-proc-p-2-t-1" #70 prio=5 os_prio=0 tid=0x00007faea000b000 nid=0x3ddc waiting on condition [0x00007faf98893000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f0121c78> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.ArrayBlockingQueue.take(ArrayBlockingQueue.java:403)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:46)

"DestroyJavaVM" #69 prio=5 os_prio=0 tid=0x00007fafbc00a000 nid=0x3d6d waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"http-bio-0.0.0.0-8080-AsyncTimeout" #67 daemon prio=5 os_prio=0 tid=0x00007fafbc650000 nid=0x3dd8 waiting on condition [0x00007faf98a95000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at org.apache.tomcat.util.net.JIoEndpoint$AsyncTimeout.run(JIoEndpoint.java:152)
        at java.lang.Thread.run(Thread.java:745)

"http-bio-0.0.0.0-8080-Acceptor-0" #66 daemon prio=5 os_prio=0 tid=0x00007fafbd23b000 nid=0x3dd7 runnable [0x00007faf98b96000]
   java.lang.Thread.State: RUNNABLE
        at java.net.PlainSocketImpl.socketAccept(Native Method)
        at java.net.AbstractPlainSocketImpl.accept(AbstractPlainSocketImpl.java:409)
        at java.net.ServerSocket.implAccept(ServerSocket.java:545)
        at java.net.ServerSocket.accept(ServerSocket.java:513)
        at org.apache.tomcat.util.net.DefaultServerSocketFactory.acceptSocket(DefaultServerSocketFactory.java:60)
        at org.apache.tomcat.util.net.JIoEndpoint$Acceptor.run(JIoEndpoint.java:220)
        at java.lang.Thread.run(Thread.java:745)

"ContainerBackgroundProcessor[StandardEngine[Tomcat]]" #65 daemon prio=5 os_prio=0 tid=0x00007fafbd239800 nid=0x3dd6 waiting on condition [0x00007faf98c97000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at org.apache.catalina.core.ContainerBase$ContainerBackgroundProcessor.run(ContainerBase.java:1513)
        at java.lang.Thread.run(Thread.java:745)

"AdminPortListener" #61 prio=5 os_prio=0 tid=0x00007fafbd32d800 nid=0x3dd3 runnable [0x00007faf99452000]
   java.lang.Thread.State: RUNNABLE
        at java.net.PlainDatagramSocketImpl.receive0(Native Method)
        - locked <0x00000000f07de5a0> (a java.net.PlainDatagramSocketImpl)
        at java.net.AbstractPlainDatagramSocketImpl.receive(AbstractPlainDatagramSocketImpl.java:144)
        - locked <0x00000000f07de5a0> (a java.net.PlainDatagramSocketImpl)
        at java.net.DatagramSocket.receive(DatagramSocket.java:812)
        - locked <0x00000000f7892b10> (a java.net.DatagramPacket)
        - locked <0x00000000f07de560> (a java.net.DatagramSocket)
        at bitel.billing.server.AdminPortListener.run(AdminPortListener.java:87)
        at java.lang.Thread.run(Thread.java:745)

"tariff-option-worker" #48 prio=5 os_prio=0 tid=0x00007fafbcf4f000 nid=0x3dc6 in Object.wait() [0x00007faf99198000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.Object.wait(Object.java:502)
        at org.apache.activemq.SimplePriorityMessageDispatchChannel.dequeue(SimplePriorityMessageDispatchChannel.java:87)
        - locked <0x00000000f07b1d40> (a java.lang.Object)
        at org.apache.activemq.ActiveMQMessageConsumer.dequeue(ActiveMQMessageConsumer.java:452)
        at org.apache.activemq.ActiveMQMessageConsumer.receive(ActiveMQMessageConsumer.java:504)
        at ru.bitel.bgbilling.kernel.event.EventWorker.internalRunWorker(EventWorker.java:130)
        - locked <0x00000000f076ce38> (a ru.bitel.bgbilling.kernel.event.Consumer)
        at ru.bitel.bgbilling.kernel.event.EventWorker.runImpl(EventWorker.java:90)
        - locked <0x00000000f076cd98> (a ru.bitel.bgbilling.kernel.tariff.option.server.TariffOptionWorker)
        at ru.bitel.common.worker.WorkerTask.run(WorkerTask.java:54)
        at java.lang.Thread.run(Thread.java:745)

"card-activate-worker" #45 prio=5 os_prio=0 tid=0x00007fafbcca5800 nid=0x3dc3 in Object.wait() [0x00007faf99dcc000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.Object.wait(Object.java:502)
        at org.apache.activemq.SimplePriorityMessageDispatchChannel.dequeue(SimplePriorityMessageDispatchChannel.java:87)
        - locked <0x00000000f07b2d18> (a java.lang.Object)
        at org.apache.activemq.ActiveMQMessageConsumer.dequeue(ActiveMQMessageConsumer.java:452)
        at org.apache.activemq.ActiveMQMessageConsumer.receive(ActiveMQMessageConsumer.java:504)
        at ru.bitel.bgbilling.kernel.event.EventWorker.internalRunWorker(EventWorker.java:130)
        - locked <0x00000000f07b2828> (a ru.bitel.bgbilling.kernel.event.AcknowledgeConsumer)
        at ru.bitel.bgbilling.kernel.event.EventWorker.runImpl(EventWorker.java:90)
        - locked <0x00000000f07b27a8> (a ru.bitel.bgbilling.modules.card.server.CardActivateWorker)
        at ru.bitel.common.worker.WorkerTask.run(WorkerTask.java:54)
        at java.lang.Thread.run(Thread.java:745)

"convergenceBalance-p-3-t-1" #40 prio=5 os_prio=0 tid=0x00007fafbcc7b800 nid=0x3dbe waiting on condition [0x00007faf99fce000]
   java.lang.Thread.State: TIMED_WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000f07af8a8> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1093)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1067)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1127)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:46)

"ActiveMQConnection[ID:bill-41358-1460002210323-0:1] Scheduler" #28 daemon prio=5 os_prio=0 tid=0x00007faeb004a800 nid=0x3dac in Object.wait() [0x00007faf9acea000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.Object.wait(Object.java:502)
        at java.util.TimerThread.mainLoop(Timer.java:526)
        - locked <0x00000000f005c190> (a java.util.TaskQueue)
        at java.util.TimerThread.run(Timer.java:505)

"Timer-0" #24 daemon prio=5 os_prio=0 tid=0x00007fafbc94f800 nid=0x3da9 in Object.wait() [0x00007faf9b5fe000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.util.TimerThread.mainLoop(Timer.java:552)
        - locked <0x00000000f001b008> (a java.util.TaskQueue)
        at java.util.TimerThread.run(Timer.java:505)

"Abandoned connection cleanup thread" #23 daemon prio=5 os_prio=0 tid=0x00007fafbc953800 nid=0x3da8 in Object.wait() [0x00007faf9b6ff000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143)
        - locked <0x00000000f001b1d0> (a java.lang.ref.ReferenceQueue$Lock)
        at com.mysql.jdbc.AbandonedConnectionCleanupThread.run(AbandonedConnectionCleanupThread.java:41)

"Thread-2" #21 daemon prio=5 os_prio=0 tid=0x00007fafbc83a000 nid=0x3da7 waiting on condition [0x00007faf9b832000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at org.apache.log4j.helpers.FileWatchdog.run(FileWatchdog.java:104)

"CommunicatorServer" #19 daemon prio=5 os_prio=0 tid=0x00007fafbc131800 nid=0x3da3 runnable [0x00007fafa0865000]
   java.lang.Thread.State: RUNNABLE
        at java.net.PlainDatagramSocketImpl.receive0(Native Method)
        - locked <0x00000000f001b6f8> (a java.net.PlainDatagramSocketImpl)
        at java.net.AbstractPlainDatagramSocketImpl.receive(AbstractPlainDatagramSocketImpl.java:144)
        - locked <0x00000000f001b6f8> (a java.net.PlainDatagramSocketImpl)
        at java.net.DatagramSocket.receive(DatagramSocket.java:812)
        - locked <0x00000000fb2fd840> (a java.net.DatagramPacket)
        - locked <0x00000000f001b728> (a java.net.DatagramSocket)
        at com.sun.jmx.snmp.daemon.SnmpAdaptorServer.doReceive(SnmpAdaptorServer.java:1374)
        at com.sun.jmx.snmp.daemon.CommunicatorServer.run(CommunicatorServer.java:837)
        at java.lang.Thread.run(Thread.java:745)

"Service Thread" #17 daemon prio=9 os_prio=0 tid=0x00007fafbc0f8800 nid=0x3da2 runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread11" #16 daemon prio=9 os_prio=0 tid=0x00007fafbc0f3800 nid=0x3da1 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread10" #15 daemon prio=9 os_prio=0 tid=0x00007fafbc0f1000 nid=0x3da0 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread9" #14 daemon prio=9 os_prio=0 tid=0x00007fafbc0ef800 nid=0x3d9f waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread8" #13 daemon prio=9 os_prio=0 tid=0x00007fafbc0ed000 nid=0x3d9e waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread7" #12 daemon prio=9 os_prio=0 tid=0x00007fafbc0eb000 nid=0x3d9d waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread6" #11 daemon prio=9 os_prio=0 tid=0x00007fafbc0e9000 nid=0x3d9c waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread5" #10 daemon prio=9 os_prio=0 tid=0x00007fafbc0e6800 nid=0x3d9b waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread4" #9 daemon prio=9 os_prio=0 tid=0x00007fafbc0dc800 nid=0x3d9a waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread3" #8 daemon prio=9 os_prio=0 tid=0x00007fafbc0da800 nid=0x3d99 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread2" #7 daemon prio=9 os_prio=0 tid=0x00007fafbc0d8000 nid=0x3d98 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread1" #6 daemon prio=9 os_prio=0 tid=0x00007fafbc0d6800 nid=0x3d97 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread0" #5 daemon prio=9 os_prio=0 tid=0x00007fafbc0d3800 nid=0x3d96 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Signal Dispatcher" #4 daemon prio=9 os_prio=0 tid=0x00007fafbc0d2000 nid=0x3d95 runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Finalizer" #3 daemon prio=8 os_prio=0 tid=0x00007fafbc09c000 nid=0x3d85 in Object.wait() [0x00007fafa1e94000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143)
        - locked <0x00000000f003e858> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:164)
        at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:209)

"Reference Handler" #2 daemon prio=10 os_prio=0 tid=0x00007fafbc09a000 nid=0x3d84 in Object.wait() [0x00007fafa1f95000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at java.lang.Object.wait(Object.java:502)
        at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:157)
        - locked <0x00000000f003ea10> (a java.lang.ref.Reference$Lock)

"VM Thread" os_prio=0 tid=0x00007fafbc095000 nid=0x3d83 runnable

"GC task thread#0 (ParallelGC)" os_prio=0 tid=0x00007fafbc01f800 nid=0x3d6e runnable

"GC task thread#1 (ParallelGC)" os_prio=0 tid=0x00007fafbc021000 nid=0x3d6f runnable

"GC task thread#2 (ParallelGC)" os_prio=0 tid=0x00007fafbc023000 nid=0x3d70 runnable

"GC task thread#3 (ParallelGC)" os_prio=0 tid=0x00007fafbc024800 nid=0x3d71 runnable

"GC task thread#4 (ParallelGC)" os_prio=0 tid=0x00007fafbc026800 nid=0x3d72 runnable

"GC task thread#5 (ParallelGC)" os_prio=0 tid=0x00007fafbc028000 nid=0x3d73 runnable

"GC task thread#6 (ParallelGC)" os_prio=0 tid=0x00007fafbc02a000 nid=0x3d74 runnable

"GC task thread#7 (ParallelGC)" os_prio=0 tid=0x00007fafbc02b800 nid=0x3d75 runnable

"GC task thread#8 (ParallelGC)" os_prio=0 tid=0x00007fafbc02d800 nid=0x3d76 runnable

"GC task thread#9 (ParallelGC)" os_prio=0 tid=0x00007fafbc02f000 nid=0x3d77 runnable

"GC task thread#10 (ParallelGC)" os_prio=0 tid=0x00007fafbc031000 nid=0x3d78 runnable

"GC task thread#11 (ParallelGC)" os_prio=0 tid=0x00007fafbc032800 nid=0x3d79 runnable

"GC task thread#12 (ParallelGC)" os_prio=0 tid=0x00007fafbc034800 nid=0x3d7a runnable

"GC task thread#13 (ParallelGC)" os_prio=0 tid=0x00007fafbc036000 nid=0x3d7b runnable

"GC task thread#14 (ParallelGC)" os_prio=0 tid=0x00007fafbc038000 nid=0x3d7c runnable

"GC task thread#15 (ParallelGC)" os_prio=0 tid=0x00007fafbc039800 nid=0x3d7d runnable

"GC task thread#16 (ParallelGC)" os_prio=0 tid=0x00007fafbc03b800 nid=0x3d7e runnable

"GC task thread#17 (ParallelGC)" os_prio=0 tid=0x00007fafbc03d000 nid=0x3d7f runnable

"VM Periodic Task Thread" os_prio=0 tid=0x00007fafbc564800 nid=0x3da4 waiting on condition

JNI global references: 392

Последний раз редактировалось chedmi 23 май 2016, 13:43, всего редактировалось 1 раз.

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 13:39

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

Ну и вывод всех потоков процесса из ps, чтобы не быть голословным

Код:

[root@bill BGBillingServer]# ps -T -p 15700
  PID  SPID TTY          TIME CMD
15700 ?        00:00:00 java
15725 ?        00:00:04 java
15726 ?        00:01:07 java
15727 ?        00:01:07 java
15728 ?        00:01:07 java
15729 ?        00:01:07 java
15730 ?        00:01:07 java
15731 ?        00:01:07 java
15732 ?        00:01:07 java
15733 ?        00:01:07 java
15734 ?        00:01:07 java
15735 ?        00:01:07 java
15736 ?        00:01:07 java
15737 ?        00:01:07 java
15738 ?        00:01:07 java
15739 ?        00:01:07 java
15740 ?        00:01:07 java
15741 ?        00:01:07 java
15742 ?        00:01:07 java
15743 ?        00:01:07 java
15747 ?        00:05:36 java
15748 ?        00:00:01 java
15749 ?        00:00:01 java
15765 ?        00:00:00 java
15766 ?        00:00:48 java
15767 ?        00:00:45 java
15768 ?        00:00:49 java
15769 ?        00:00:52 java
15770 ?        00:00:49 java
15771 ?        00:00:50 java
15772 ?        00:00:47 java
15773 ?        00:00:48 java
15774 ?        00:00:30 java
15775 ?        00:00:30 java
15776 ?        00:00:30 java
15777 ?        00:00:30 java
15778 ?        4-03:16:09 java
15779 ?        00:00:03 java
15780 ?        00:37:56 java
15783 ?        00:00:26 java
15784 ?        00:19:42 java
15785 ?        00:00:54 java
15788 ?        00:00:00 java
15806 ?        00:00:15 java
15811 ?        00:00:00 java
15814 ?        00:00:00 java
15827 ?        00:00:00 java
15830 ?        00:00:35 java
15831 ?        00:00:02 java
15832 ?        00:02:06 java
15836 ?        00:04:05 java
16097 ?        00:00:12 java
17652 ?        00:00:19 java
25523 ?        00:00:00 java
19994 ?        00:00:15 java
12984 ?        00:00:00 java
20966 ?        00:00:00 java
12703 ?        00:00:00 java
11909 ?        00:00:00 java
20550 ?        00:00:09 java
22545 ?        00:00:09 java
30224 ?        00:10:29 java
30251 ?        00:00:00 java
30252 ?        00:00:03 java
12768 ?        00:00:01 java
15275 ?        00:00:00 java
16606 ?        00:00:05 java
15700  2559 ?        00:00:05 java
17586 ?        00:00:00 java
29995 ?        00:00:03 java
29999 ?        00:00:07 java
30000 ?        00:00:03 java
30002 ?        00:00:05 java
30003 ?        00:00:02 java
30005 ?        00:00:03 java
30007 ?        00:00:01 java
30031 ?        00:00:03 java

Последний раз редактировалось chedmi 23 май 2016, 13:42, всего редактировалось 1 раз.

Вернуться к началу

stark

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 13:41

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

лучше бы вы файлами приложили. Или хотя бы использовали тег [code]

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 13:44

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

ок, сделал тегами...

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 15:20

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

Может быть поможет в поиске проблемы.
На тестовом сервере все то же самое - загрузка на 100%, тот же самый поток.
Посде перегрузки BGBillingServer - загрузка пока около 1%.
То есть похоже проблема "накапливается" в процессе какого-то отрезка времени после запуска.

Вернуться к началу

skn

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 16:03

Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187

chedmi писал(а):

пока ничего определенного по предоставленной вами информации сказать не можем, описанный вами поток является системным (мы на него повлиять не можем)
почему он у вас так себя ведет не понятно, у нас эта проблема не воспроизводится

также не понятно почему у вас много запущенных процессов компилятора...

кстати что значит со вчерашнего дня ядро загрузилось на 100%
а что было до этого? оно месяц не грузилось?

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 17:06

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

мы больше месяца назад развернули тестовый сервер (vmware-копия рабочего, только с худшими параметрами производительности), так вот - он встал в это состояние спустя несколько дней и все это время был в нем...
рабочий сервер встал в это состояние несколько дней назад, до этого загрузка была в пределах нормы - нагиос ничего не сообщал...
сейчас на тестовом сервере после перезагрузки уже целый час тоже ничего не воспроизводится - надо ждать)
что за процессы компилятора, "GC task thread" ?

Вернуться к началу

skn

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 17:34

Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187

Код:

"C1 CompilerThread11" #16 daemon prio=9 os_prio=0 tid=0x00007fafbc0f3800 nid=0x3da1 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread10" #15 daemon prio=9 os_prio=0 tid=0x00007fafbc0f1000 nid=0x3da0 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread9" #14 daemon prio=9 os_prio=0 tid=0x00007fafbc0ef800 nid=0x3d9f waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

GC task thread - сборщики мусора

Вернуться к началу

skyb

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 18:22

Клиент

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241

chedmi писал(а):

а случаем на серверах одних Ip жестко не забито?

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений

Вернуться к началу

chedmi

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 23 май 2016, 18:45

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

skyb писал(а):

chedmi писал(а):

а случаем на серверах одних Ip жестко не забито?

Не совсем понял вопрос. На серверах стоят статические ip

Вернуться к началу

skyb

Заголовок сообщения: Re: Загрузка одного из ядер на 100%

Добавлено: 24 май 2016, 06:15

Клиент

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241

chedmi писал(а):

skyb писал(а):

chedmi писал(а):

а случаем на серверах одних Ip жестко не забито?

Не совсем понял вопрос. На серверах стоят статические ip

в настройках биллинг, брокера. Просто давно у меня была ситуация когда в брокере был прописан ip сервера, потом перенес все на другую машинку и что то пошло не так(или не брокера, не помню уже) и была ситуация что проц грузило

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Вернуться к началу

chedmi

Заголовок сообщения: Re: [6.2] Загрузка одного из ядер на 100%

Добавлено: 24 май 2016, 13:20

Зарегистрирован: 11 мар 2015, 11:06
Сообщения: 198
Карма: 0

За наводку спасибо. Проверил конфиг брокера. Там только 127.0.0.1 фигурирует, обмен возможен только в пределах локалхоста.
Не наш случай.
Сегодня перегрузили рабочий сервер, загрузка упала до 2-3% - будем наблюдать через какое время выйдет на 100%.

Вернуться к началу

Страница 1 из 1

[ Сообщений: 19 ]

Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:

BiTel

[6.2] Загрузка одного из ядер на 100%

Кто сейчас на конференции