BiTel

Добрый день!

Господа, может имеет смысл как-то делать принудительную сборку мусора у dataloader? Я сейчас работаю с модулем Phone, пытаюсь разобраться в логике его работы, подсовываю dataloader маленькие, максимум по 30-50 строк файлики. В тарифах тоже указано максимум 2-3 префикса. Но буквально через 5-6 часов работы (считай 5-6 запусков по шедулеру) dataloader начинает кричать, что ему не хватает памяти. Памяти ему выделено 384 мегабайта. Мне кажется, что это ненормально для таких нагрузок.

Клиент: вер. 5.1 сборка 432 от 30.11.2010 20:27:37
os:Windows XP; java:Sun Microsystems Inc., v.1.6.0_22
Сервер: вер. 5.1 сборка 544 от 30.11.2010 20:27:27
os:FreeBSD; java:Sun Microsystems Inc., v.1.6.0

bill вер. 5.1 сборка 220 от 03.12.2010 19:00:21
card вер. 5.1 сборка 153 от 08.11.2010 11:30:50
dialup вер. 5.1 сборка 163 от 03.12.2010 17:27:16
email вер. 5.1 сборка 148 от 29.09.2010 13:00:35
ipn вер. 5.1 сборка 213 от 29.11.2010 19:07:45
npay вер. 5.1 сборка 166 от 24.11.2010 19:21:13
phone вер. 5.1 сборка 222 от 01.12.2010 11:46:09
reports вер. 5.1 сборка 162 от 29.09.2010 13:00:39
ru.bitel.bgbilling.plugins.documents вер. 5.1 сборка 116 от 29.09.2010 13:01:09
voiceip вер. 5.1 сборка 152 от 03.12.2010 17:27:32

Наш график использования памяти даталоадером за неделю. Пики в четверг и среду - массовая загрузка и обработка логов за декабрь. Опрос делается каждые 5 минут.

так так Cromeshnic давай рассказывай чем и как мониторишь

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений

Есть стандартный пакет java, которым можно мониторить jvm по snmp:
com.sun.management.snmp

Прописываем в строке запуска приложения несколько дополнительных параметров:
-Dcom.sun.management.snmp.port=10165
-Dcom.sun.management.snmp.acl.file=./data/snmp.acl
-Dcom.sun.management.snmp.interface=127.0.0.1

Для каждого приложения (шедулер, даталоадер, радиусы ...) - свой порт. IP указывается того интерфейса, который будет слушаться (127.0.0.1 - только если cacti или другая мониторилка на том же хосте установлена)

Например, для сервера:


Содержимое snmp.acl, например:

Вообще, есть шаблонный snmp.acl в недрах установленной java. Можно и не через файл - нужно погуглить.

Хотел написать на вики про это, но в cacti не я добавлял графики, а разбираться некогда.
Если кто-нибудь сделает у себя полностью и выложит, заработает много плюсов в карму
Там несложно - погуглите по "com.sun.management.snmp".

Короче, щас напишу на wiki

интересный ход
но я поставлю потому как уматная вещь!!!

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений

Как-то так например.

Возможно что-то упустил в настройке Cacti, т.к. никогда этого сам не делал.

Господа, я все понимаю. Но ведь у вас рабочая система, а у меня логи-то мизерные. И тарифы мизерные, поэтому я не понимаю куда dl кушает память

тут я просто так понимаю что речь идет о вообще непонятном расходовании памяти в 5.1

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений

Упс,

По вашей проблеме нужно видимо с разработчиками напрямую разбираться.

Посмотрите
./data_loader_status.sh
в момент, когда лоадеру памяти не хватает.

Сделайте
jmap -dump:format=b,file=dataloader-dump.jmap кодпроцесса

- пригодится разработчикам, чтобы искать утечку, если такая есть.

Если память лоадеру увеличить - тоже забьётся всё?

Выделил ему 512M, наблюдаю.

2 дня и памяти снова нет. На мой взгляд - явная утечка. Сделал дамп, как рекомендовали. http://hosting.tagnet.ru/~boris/dataloader-dump.jmap

Сервер сделайте на Linux.

А это точно решит проблему? Мне кажется сомнительным что утечка исключительно в java FreeBSD.

Не решит - будем разбираться.

Хорошо, попробую с оказией. Но мне кажется все это сомнительным, потому что ни один другой компонент системы (а я использую ядро, dialup radius, voip radius, netflow collector, scheduler) такими симптомами не страдает.