forum.bitel.ru
http://forum.bitel.ru/

Sheduler и оператива
http://forum.bitel.ru/viewtopic.php?f=22&t=6397		 Страница 1 из 1
Автор:  aiwbend [ 01 фев 2012, 16:25 ]
Заголовок сообщения:  Sheduler и оператива
Доброго времени суток.

Шедулер съедает весь, выделенный ему, 1GB памяти.
судя по логам как понял память утекает во время выполнения Проверки шлюзов IPN.

Код:
02-01/15:10:27  INFO [pool-5-thread-1] MikrotikGateWorker - Running script
02-01/15:10:27  INFO [pool-5-thread-2] MikrotikGateWorker - Running script
02-01/15:10:27  INFO [pool-5-thread-3] MikrotikGateWorker - Running script
02-01/15:10:27  INFO [pool-5-thread-4] MikrotikGateWorker - Running script
02-01/15:10:29  WARN [pool-5-thread-3] ScriptInstance - 10.147.0.3:28[OfficeNet]: using deprecated method [public final java.lang.String ru.bitel.common.Preferences.getStringValue(java.lang.String,java.lang.String)]
02-01/15:10:29  INFO [pool-5-thread-3] MikrotikGateWorker - Process time => 1593
02-01/15:10:29  INFO [pool-2-thread-1] IPNTestGates - Gate: 10.147.0.3 : 28 [ OfficeNet ] - checking end..
02-01/15:10:48  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@1ee5cdf
02-01/15:10:48  INFO [pool-1-thread-4] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Memory total: 651 034 624; max: 1 037 959 168; free: 399 629 648
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 245 568; peek: 5 245 568
Heap memory[Eden Space]: max: 286 326 784; used: 13 617 632; peek: 241 172 480
Heap memory[Survivor Space]: max: 35 782 656; used: 22 413 312; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 215 374 032; peek: 452 047 416
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 412 208; peek: 17 412 208
Thread count: 32
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Setting balances for independ and subs..
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selected.
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selecting sub account
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selected.
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Setting balance for super..
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selected.
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Task finished time=15 ms.
02-01/15:11:07  INFO [pool-5-thread-1] MikrotikGateWorker - CloseRules cid=1929 rule_id=51
02-01/15:11:07  INFO [pool-5-thread-2] MikrotikGateWorker - CloseRules cid=1929 rule_id=51
02-01/15:11:22  INFO [pool-5-thread-2] MikrotikGateWorker - CloseRules cid=2834 rule_id=50
02-01/15:11:22  INFO [pool-5-thread-1] MikrotikGateWorker - CloseRules cid=2834 rule_id=50
02-01/15:11:25  INFO [pool-5-thread-4] MikrotikGateWorker - OpenRules cid=73235 rule_id=61
02-01/15:11:26  INFO [pool-5-thread-2] MikrotikGateWorker - OpenRules cid=15344 rule_id=50
02-01/15:11:27  INFO [pool-5-thread-1] MikrotikGateWorker - OpenRules cid=15344 rule_id=50
02-01/15:11:31  INFO [pool-5-thread-4] MikrotikGateWorker - Process time => 64281
02-01/15:11:32  INFO [pool-2-thread-1] IPNTestGates - Gate: 62.32.76.86 : 28 [ Mikrotik, Myski-GRES ] - checking end..
02-01/15:11:48  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@9580c8
02-01/15:11:48  INFO [pool-1-thread-5] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Memory total: 651 034 624; max: 1 037 959 168; free: 131 252 760
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 273 728; peek: 5 273 728
Heap memory[Eden Space]: max: 286 326 784; used: 52 484 688; peek: 241 172 480
Heap memory[Survivor Space]: max: 35 782 656; used: 22 413 304; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 444 883 872; peek: 452 047 416
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 420 928; peek: 17 420 928
Thread count: 32
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Setting balances for independ and subs..
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selected.
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selecting sub account
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selected.
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Setting balance for super..
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selected.
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Task finished time=32 ms.
02-01/15:12:07  INFO [pool-5-thread-2] MikrotikGateWorker - OpenRules cid=73235 rule_id=50
02-01/15:12:10  INFO [pool-5-thread-1] MikrotikGateWorker - Process time => 103375
02-01/15:12:11  INFO [pool-2-thread-1] IPNTestGates - Gate: 10.147.0.134 : 28 [ Shaper 2 ] - checking end..
02-01/15:12:12  INFO [pool-5-thread-2] MikrotikGateWorker - Process time => 104516
02-01/15:12:13  INFO [pool-2-thread-1] IPNTestGates - Gate: 10.147.0.240 : 28 [ Shaper ] - checking end..
02-01/15:12:14  INFO [pool-2-thread-1] IPNTestGates - Locked clients:
02-01/15:12:14  INFO [pool-2-thread-1] IPNTestGates - 1782;balance:-74.70;limit:0.00
2368;balance:-5.72;limit:0.00

02-01/15:12:16  INFO [pool-2-thread-1] IPNTestGates - Task finished time=132828 ms.
02-01/15:12:38  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@15970f4
02-01/15:12:38  INFO [pool-1-thread-3] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Memory total: 1 037 959 168; max: 1 037 959 168; free: 306 312 376
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 275 712; peek: 5 275 712
Heap memory[Eden Space]: max: 286 326 784; used: 270 042 384; peek: 270 042 384
Heap memory[Survivor Space]: max: 35 782 656; used: 0; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 461 604 408; peek: 469 404 808
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 288 920; peek: 17 420 928
Thread count: 27
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Setting balances for independ and subs..
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selected.
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selecting sub account
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selected.
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Setting balance for super..
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selected.
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Task finished time=47 ms.
02-01/15:12:48  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@1969c8a
02-01/15:12:48  INFO [pool-1-thread-1] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Memory total: 1 037 959 168; max: 1 037 959 168; free: 303 740 120
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 275 712; peek: 5 275 712
Heap memory[Eden Space]: max: 286 326 784; used: 272 614 640; peek: 272 614 640
Heap memory[Survivor Space]: max: 35 782 656; used: 0; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 461 604 408; peek: 469 404 808
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 288 920; peek: 17 420 928
Thread count: 28
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Setting balances for independ and subs..
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selected.
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selecting sub account
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selected.
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Setting balance for super..
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selected.
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Task finished time=16 ms.
02-01/15:13:03  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@176a31d
02-01/15:13:03  INFO [pool-1-thread-2] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:13:03  INFO [pool-1-thread-2] Calculator - Memory total: 1 037 959 168; max: 1 037 959 168; free: 302 468 928
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 275 712; peek: 5 275 712
Heap memory[Eden Space]: max: 286 326 784; used: 273 885 832; peek: 273 885 832
Heap memory[Survivor Space]: max: 35 782 656; used: 0; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 461 604 408; peek: 469 404 808
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 288 920; peek: 17 420 928
Thread count: 27


в итоге рано или поздно он зависает и помогает только закрытие процесса и запуск службы, и по новой.
Нормальное ли это поведение, мб просто нужно озу побольше? или утечка где-то?
Автор:  Дмитрий [ 02 фев 2012, 15:05 ]
Заголовок сообщения:  Re: Sheduler и оператива
aiwbend писал(а):
Доброго времени суток.

Шедулер съедает весь, выделенный ему, 1GB памяти.
судя по логам как понял память утекает во время выполнения Проверки шлюзов IPN.

[skip]

в итоге рано или поздно он зависает и помогает только закрытие процесса и запуск службы, и по новой.
Нормальное ли это поведение, мб просто нужно озу побольше? или утечка где-то?
попробуй выделить 2гига, было подобрано экспериментальным тыком пальцем в небо, после чего планировщик не вешается и не жалуется на недостаток памяти.
Автор:  skyb [ 02 фев 2012, 15:30 ]
Заголовок сообщения:  Re: Sheduler и оператива
у меня 3 гига, но и 2500+ комутов
да, топикстартер зайдите в конфу у меня в подписи, помогут быстрей ;)
Автор:  Cromeshnic [ 03 фев 2012, 06:54 ]
Заголовок сообщения:  Re: Sheduler и оператива
Вложение:
graph_image.png
graph_image.png [ 65.12 КБ | Просмотров: 5610 ]


:(
Автор:  JIoIIIaDka [ 06 апр 2015, 12:15 ]
Заголовок сообщения:  Re: Sheduler и оператива
Подниму немного тему.
Начало подъема - запуск переобсчета сессий voip. Спад - перезагрузка шедулера. Я так понимаю сам он память не отдает назад ? Так и должно быть или это проблема 5.1 ?

Вложения:
snapshot19.png
snapshot19.png [ 18.68 КБ | Просмотров: 5377 ]
Автор:  dimOn [ 06 апр 2015, 12:26 ]
Заголовок сообщения:  Re: Sheduler и оператива
В общем случае не отдаёт, пока не будет недостачи в другом месте этого приложения и не будет запущен GC.
Этот вопрос решается в рамках ограничений памяти заданных опциями при старте jvm.
Автор:  stark [ 06 апр 2015, 12:37 ]
Заголовок сообщения:  Re: Sheduler и оператива
JIoIIIaDka писал(а):
Подниму немного тему.
Начало подъема - запуск переобсчета сессий voip. Спад - перезагрузка шедулера. Я так понимаю сам он память не отдает назад ? Так и должно быть или это проблема 5.1 ?


Покажите что показывает
Код:
./scheduler_status.sh
до перезагрузки.
попробуйте вызвать
Код:
./scheduler.sh -egc
несколько раз и потом снова
Код:
./scheduler_status.sh
чтобы узнать что изменилось.
Автор:  JIoIIIaDka [ 07 апр 2015, 14:22 ]
Заголовок сообщения:  Re: Sheduler и оператива
запуск пересчета небольшой группы (Сессий обработано => 1851) - память дрогнула еле заметно

Код:
./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 01:27:11
Memory total: 49 283 072; max: 238 616 576; free: 35 207 736
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 1 771 584; peek: 1 782 400
Heap memory[PS Eden Space]: max: 87 031 808; used: 1 777 960; peek: 15 794 176
Heap memory[PS Survivor Space]: max: 1 179 648; used: 98 304; peek: 2 069 168
Heap memory[PS Old Gen]: max: 178 978 816; used: 12 199 072; peek: 12 199 072
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 638 640; peek: 17 638 640
Thread count: 23
Trees in cache: 5
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 1; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50


запуск пересчета другой группы (Сессий обработано => 4571) - прилетел "[BGScheduler] Недостаток памяти системы"
Зарезервировано 222298112 из 238616576 (максимум) байтов памяти. Сейчас свободно: 57152672 байтов.

Код:
./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 01:32:17
Memory total: 198 639 616; max: 238 616 576; free: 36 192 816
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 2 584 704; peek: 2 595 456
Heap memory[PS Eden Space]: max: 86 966 272; used: 5 431 992; peek: 19 464 192
Heap memory[PS Survivor Space]: max: 196 608; used: 135 176; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 156 879 632; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 709 136; peek: 17 709 136
Thread count: 25
Trees in cache: 6
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 2; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50


./scheduler.sh -egc (4 раза)

Код:
./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 01:36:46
Memory total: 198 574 080; max: 238 616 576; free: 125 200 752
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 2 585 600; peek: 2 596 352
Heap memory[PS Eden Space]: max: 88 670 208; used: 437 640; peek: 19 464 192
Heap memory[PS Survivor Space]: max: 65 536; used: 0; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 72 935 688; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 710 816; peek: 17 744 008
Thread count: 26
Trees in cache: 6
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 3; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50


Спад на графике по времени примерно равен запуску ./scheduler.sh -egc
Used - фиолетовый, Comitted - красный.

Вложения:
snapshot20.png
snapshot20.png [ 13.16 КБ | Просмотров: 5358 ]
Автор:  stark [ 07 апр 2015, 17:30 ]
Заголовок сообщения:  Re: Sheduler и оператива
не похоже на утечку.. А если несколько раз подряд по этой группе запустить и потом gc . Память все время растете или нет?
Скорее всего для запуска задачи требуется много памяти, а потом она освобождается.
Автор:  stark [ 07 апр 2015, 17:33 ]
Заголовок сообщения:  Re: Sheduler и оператива
как вариант еще возможно у нас там PreparedStatemet-ы не закрываеются, это не приводит к глобальными утечкам, но во время работы задачи может потребляться больше памяти. В 5.2 у нас встроена диагностика таких случаев и часть таких мест исправлена.
Автор:  JIoIIIaDka [ 07 апр 2015, 18:16 ]
Заголовок сообщения:  Re: Sheduler и оператива
Запустил эту же группу (5048 сессий) 2 раза - почти ноль реакции (около 15:00 на графике).

Код:
./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 05:25:24
Memory total: 199 688 192; max: 238 616 576; free: 120 146 472
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 2 741 440; peek: 2 764 416
Heap memory[PS Eden Space]: max: 88 080 384; used: 2 255 768; peek: 19 988 480
Heap memory[PS Survivor Space]: max: 720 896; used: 184 072; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 77 101 880; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 779 792; peek: 17 779 792
Thread count: 27
Trees in cache: 1
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 4; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50


Запустил другую группу (50126 сессий) - немного подросло (на графике около 15:04).

Код:
./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 05:33:40
Memory total: 202 702 848; max: 238 616 576; free: 66 686 488
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 3 112 576; peek: 3 123 264
Heap memory[PS Eden Space]: max: 89 063 424; used: 20 507 672; peek: 23 527 424
Heap memory[PS Survivor Space]: max: 196 608; used: 114 688; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 115 417 976; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 831 048; peek: 17 831 048
Thread count: 29
Trees in cache: 7
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 6; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50


запуск ./scheduler.sh -egc (1 раз) около 15:10

Код:
./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 05:37:33
Memory total: 202 833 920; max: 238 616 576; free: 129 772 240
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 3 112 576; peek: 3 123 264
Heap memory[PS Eden Space]: max: 88 932 352; used: 113 888; peek: 23 527 424
Heap memory[PS Survivor Space]: max: 262 144; used: 0; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 72 963 736; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 746 424; peek: 17 831 048
Thread count: 28
Trees in cache: 7
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 6; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50


Можно не париться?

Вложения:
snapshot22.png
snapshot22.png [ 14.29 КБ | Просмотров: 5348 ]
Автор:  stark [ 07 апр 2015, 18:24 ]
Заголовок сообщения:  Re: Sheduler и оператива
Не похоже на утечку. Обновитесь на 5.2
Автор:  JIoIIIaDka [ 07 апр 2015, 18:25 ]
Заголовок сообщения:  Re: Sheduler и оператива
Понятно, учтем.
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/