Наш график использования памяти даталоадером за неделю. Пики в четверг и среду - массовая загрузка и обработка логов за декабрь. Опрос делается каждые 5 минут.
| Вложения: |
|
graph_image.png [ 51.74 КБ | Просмотров: 5786 ] |
| forum.bitel.ru http://forum.bitel.ru/ |
|
| 5.1: Сколько памяти нужно dataloader? http://forum.bitel.ru/viewtopic.php?f=22&t=4970 |
Страница 1 из 1 |
| Автор: | borisk [ 10 янв 2011, 23:16 ] |
| Заголовок сообщения: | 5.1: Сколько памяти нужно dataloader? |
Добрый день! Господа, может имеет смысл как-то делать принудительную сборку мусора у dataloader? Я сейчас работаю с модулем Phone, пытаюсь разобраться в логике его работы, подсовываю dataloader маленькие, максимум по 30-50 строк файлики. В тарифах тоже указано максимум 2-3 префикса. Но буквально через 5-6 часов работы (считай 5-6 запусков по шедулеру) dataloader начинает кричать, что ему не хватает памяти. Памяти ему выделено 384 мегабайта. Мне кажется, что это ненормально для таких нагрузок. Клиент: вер. 5.1 сборка 432 от 30.11.2010 20:27:37 os:Windows XP; java:Sun Microsystems Inc., v.1.6.0_22 Сервер: вер. 5.1 сборка 544 от 30.11.2010 20:27:27 os:FreeBSD; java:Sun Microsystems Inc., v.1.6.0 bill вер. 5.1 сборка 220 от 03.12.2010 19:00:21 card вер. 5.1 сборка 153 от 08.11.2010 11:30:50 dialup вер. 5.1 сборка 163 от 03.12.2010 17:27:16 email вер. 5.1 сборка 148 от 29.09.2010 13:00:35 ipn вер. 5.1 сборка 213 от 29.11.2010 19:07:45 npay вер. 5.1 сборка 166 от 24.11.2010 19:21:13 phone вер. 5.1 сборка 222 от 01.12.2010 11:46:09 reports вер. 5.1 сборка 162 от 29.09.2010 13:00:39 ru.bitel.bgbilling.plugins.documents вер. 5.1 сборка 116 от 29.09.2010 13:01:09 voiceip вер. 5.1 сборка 152 от 03.12.2010 17:27:32 |
|
| Автор: | Cromeshnic [ 11 янв 2011, 07:22 ] | ||
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? | ||
Наш график использования памяти даталоадером за неделю. Пики в четверг и среду - массовая загрузка и обработка логов за декабрь. Опрос делается каждые 5 минут.
|
|||
| Автор: | skyb [ 11 янв 2011, 09:49 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
так так Cromeshnic давай рассказывай чем и как мониторишь 
|
|
| Автор: | Cromeshnic [ 11 янв 2011, 10:04 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Есть стандартный пакет java, которым можно мониторить jvm по snmp: com.sun.management.snmp Прописываем в строке запуска приложения несколько дополнительных параметров: -Dcom.sun.management.snmp.port=10165 -Dcom.sun.management.snmp.acl.file=./data/snmp.acl -Dcom.sun.management.snmp.interface=127.0.0.1 Для каждого приложения (шедулер, даталоадер, радиусы ...) - свой порт. IP указывается того интерфейса, который будет слушаться (127.0.0.1 - только если cacti или другая мониторилка на том же хосте установлена) Например, для сервера: Код: java -Dapp.name=BGBillingServer -Dnetworkaddress.cache.ttl=3600 -Dcom.sun.management.snmp.port=10165 -Dcom.sun.management.snmp.acl.file=./data/snmp.acl -Dcom.sun.management.snmp.interface=127.0.0.1 -Xmx2048m -cp .:./lib/* ru.bitel.common.bootstrap.Boot bitel.billing.server.Server start Содержимое snmp.acl, например: Код: acl = { { communities = public, private access = read-only managers = localhost, 192.168.1.200 } } Вообще, есть шаблонный snmp.acl в недрах установленной java. Можно и не через файл - нужно погуглить. Хотел написать на вики про это, но в cacti не я добавлял графики, а разбираться некогда. Если кто-нибудь сделает у себя полностью и выложит, заработает много плюсов в карму  Там несложно - погуглите по "com.sun.management.snmp". |
|
| Автор: | Cromeshnic [ 11 янв 2011, 11:08 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Короче, щас напишу на wiki |
|
| Автор: | skyb [ 11 янв 2011, 12:29 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Cromeshnic писал(а): Если кто-нибудь сделает у себя полностью и выложит, заработает много плюсов в карму Cromeshnic писал(а): Короче, щас напишу на wiki интересный ход  но я поставлю потому как уматная вещь!!! |
|
| Автор: | Cromeshnic [ 11 янв 2011, 14:00 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Как-то так например. Возможно что-то упустил в настройке Cacti, т.к. никогда этого сам не делал. |
|
| Автор: | borisk [ 11 янв 2011, 18:22 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Господа, я все понимаю. Но ведь у вас рабочая система, а у меня логи-то мизерные. И тарифы мизерные, поэтому я не понимаю куда dl кушает память
|
|
| Автор: | skyb [ 11 янв 2011, 19:21 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
тут я просто так понимаю что речь идет о вообще непонятном расходовании памяти в 5.1 |
|
| Автор: | Cromeshnic [ 11 янв 2011, 19:42 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Упс,   По вашей проблеме нужно видимо с разработчиками напрямую разбираться. Посмотрите ./data_loader_status.sh в момент, когда лоадеру памяти не хватает. Сделайте jmap -dump:format=b,file=dataloader-dump.jmap кодпроцесса - пригодится разработчикам, чтобы искать утечку, если такая есть. |
|
| Автор: | Cromeshnic [ 11 янв 2011, 19:43 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Если память лоадеру увеличить - тоже забьётся всё? |
|
| Автор: | borisk [ 12 янв 2011, 10:55 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Выделил ему 512M, наблюдаю. |
|
| Автор: | borisk [ 14 янв 2011, 18:29 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
2 дня и памяти снова нет. На мой взгляд - явная утечка. Сделал дамп, как рекомендовали. http://hosting.tagnet.ru/~boris/dataloader-dump.jmap |
|
| Автор: | Администратор [ 21 янв 2011, 12:15 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Сервер сделайте на Linux. |
|
| Автор: | borisk [ 21 янв 2011, 13:34 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
А это точно решит проблему? Мне кажется сомнительным что утечка исключительно в java FreeBSD. |
|
| Автор: | Администратор [ 24 янв 2011, 10:53 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Не решит - будем разбираться. |
|
| Автор: | borisk [ 24 янв 2011, 11:01 ] |
| Заголовок сообщения: | Re: 5.1: Сколько памяти нужно dataloader? |
Хорошо, попробую с оказией. Но мне кажется все это сомнительным, потому что ни один другой компонент системы (а я использую ядро, dialup radius, voip radius, netflow collector, scheduler) такими симптомами не страдает. |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|