forum.bitel.ru
http://forum.bitel.ru/

Перестает обчитываться наработка IPN
http://forum.bitel.ru/viewtopic.php?f=7&t=2463		 Страница 1 из 1
Автор:  Evil [ 19 июн 2009, 15:12 ]
Заголовок сообщения:  Перестает обчитываться наработка IPN
После перезапуска IPNNetflowCollector-а в течение нескольких минут все работает нормально, и логи сохраняются и в отчетах наработка показывается. Но потом в collector.log начинают появляться ошибки:
06-19/21:14:23 INFO [main] DetailMaker - Starting detail maker...
06-19/21:24:52 WARN [Finalizer] BGDataLog - DataLog was open on finalize! /mnt/san/backup/netflow.ipn/source_1/2009/2009-06/2009-06-19/log_2009-06-19-21.000.bgdl
В dataloader.log :
06-19/21:14:23 INFO [main] DetailMaker - Starting detail maker...
06-19/21:24:52 WARN [Finalizer] BGDataLog - DataLog was open on finalize! /mnt/san/backup/netflow.ipn/source_1/2009/2009-06/2009-06-19/log_2009-06-19-21.000.bgdl
А в loader.log:
06-19/21:22:12 ERROR [flow-p-2-t-637] LoggingPrintStream - Exception in thread "flow-p-2-t-637"
06-19/21:22:12 ERROR [flow-p-2-t-637] LoggingPrintStream - java.lang.OutOfMemoryError: Direct buffer memory
06-19/21:22:12 ERROR [flow-p-2-t-637] LoggingPrintStream - at java.nio.Bits.reserveMemory(Unknown Source)
06-19/21:22:12 ERROR [flow-p-2-t-637] LoggingPrintStream - at java.nio.DirectByteBuffer.<init>(Unknown Source)
06-19/21:22:12 ERROR [flow-p-2-t-637] LoggingPrintStream - at java.nio.ByteBuffer.allocateDirect(Unknown Source)
06-19/21:22:12 ERROR [flow-p-2-t-637] LoggingPrintStream - at ru.bitel.bgbilling.server.util.datalog.BGDataLogWriter.createBuffer(BGDataLogWriter.java:31)
06-19/21:22:12 ERROR [flow-p-2-t-637] LoggingPrintStream - at ru.bitel.bgbilling.server.util.datalog.BGDataLogWriter.createBuffer(BGDataLogWriter.java:1)

С чем это связано? Последние изменения: обновление на 4.6 и смена ip адреса сервера и источника netflow..
Автор:  stark [ 19 июн 2009, 15:22 ]
Заголовок сообщения: 
коллектору не хвататает памяти .. увеличьте параметр -Xmx в скрипте его запуска
Автор:  Amir [ 19 июн 2009, 16:28 ]
Заголовок сообщения: 
Какая система, какая java? Какой конфиг netflow_ipn.properties?
Автор:  Evil [ 20 июн 2009, 04:25 ]
Заголовок сообщения: 
Память уже увеличивала до 2048. все равно ошибка повторяется.

система - Fedora 8

java version "1.7.0"
IcedTea Runtime Environment (build 1.7.0-b21)
IcedTea Server VM (build 1.7.0-b21, mixed mode)

конфиг netflow_ipn.properties

port.admin=2003

#код модуля IPN
collector.mid=2

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=...
db.maxActive=300
db.maxIdle=100

#директория логов
log.dir=/mnt/san/backup/netflow.ipn
load=1

process=1
sources=1

generate.minutes=5

#порт
collector.capture.flow.port.1=9998
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1
#количество потоков
collector.capture.flow.port.1.thread.count=1000
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#опрашиватель snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#размер блока
datalog.chunk.size=393216
#сжатие логов
#datalog.flow.compression.type=1
Автор:  Amir [ 20 июн 2009, 23:56 ]
Заголовок сообщения: 
collector.capture.flow.port.1.thread.count=1000
Из-за этого похоже...
Постепенно создается 1000 потоков, а так как это пул, то они не уничтожаются, каждый содержит в себе буфер приема.
По умолчанию у нас 10 помоему стоит, можно 30 поставить, но не 1000 :)

P.S. А памяти там не хватает специальной, это не java heap, а отдельный блок, увеличить ее размер можно параметром запуска -XX:MaxDirectMemorySize=256M
Но и 256 МБ для 1000 потоков не хватит, учитывая datalog.chunk.size=393216, надо более 1000*393216 байт.

Укажем это в доке...
Автор:  Evil [ 22 июн 2009, 04:33 ]
Заголовок сообщения: 
Amir писал(а):
collector.capture.flow.port.1.thread.count=1000
Из-за этого похоже...
.

Поменяла этот параметр на 10 и все заработало :-)
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/