forum.bitel.ru :: Просмотр темы - Можно ли обработать логи коллектора другими средствами?

10-14/09:43:30 INFO [Thread-14] DetailMaker - Started detail maker...
10-14/10:34:27 INFO [Thread-14] DetailMaker - Starting detail task...
10-14/10:34:27 INFO [Thread-14] FlowDetailMaker - Memory total: 72 155 136; max: 477 233 152; free: 41 746 472
10-14/10:34:27 INFO [Thread-14] FlowDetailMaker - Creating ipn detail range XX.XX.XX.XX-YY.YY.YY.YY from 13.10.2009 22:00:00
10-14/10:38:59 ERROR [Thread-14] DetailMaker - Java heap space
java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:2786)
at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:94)
at java.util.zip.DeflaterOutputStream.deflate(DeflaterOutputStream.java:161)
at java.util.zip.DeflaterOutputStream.write(DeflaterOutputStream.java:118)
at java.util.zip.ZipOutputStream.write(ZipOutputStream.java:272)
at java.io.PrintStream.write(PrintStream.java:430)
at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:202)
at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:272)
at sun.nio.cs.StreamEncoder.flushBuffer(StreamEncoder.java:85)
at java.io.OutputStreamWriter.flushBuffer(OutputStreamWriter.java:168)
at java.io.PrintStream.write(PrintStream.java:477)
at java.io.PrintStream.print(PrintStream.java:619)
at java.io.PrintStream.append(PrintStream.java:1015)
at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.printToCsv(FlowDetailMaker.java:175)
at bitel.billing.server.netflow.ipn.detail.BasicFlowDetailMaker.createDetailImpl(BasicFlowDetailMaker.java:65)
at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.createDetailMultipart(FlowDetailMaker.java:150)
at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.createDetail(FlowDetailMaker.java:81)
at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:84)

Автор:	corban [ 14 окт 2009, 18:25 ]
Заголовок сообщения:	Можно ли обработать логи коллектора другими средствами?
Есть задача обработать логи NetflowCollector 4.6 с целью получения статистики в целом, а не по конкретным адресам. Раньше логи писались в стандартном формате netflow и были средства для их обработки. Что можно сделать с файлами формата .bgdl? Например, определить приоритетные направления или порты? Или придется параллелить flow трафик на другой сервер с обычным коллектором?

Автор:	Администратор [ 15 окт 2009, 17:02 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
Можно поставить еще один экземпляр модуля IPN, настроить его на обработку тех же логов. И завести там целые сети.

Автор:	corban [ 15 окт 2009, 18:24 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
сколько ж нужно памяти процессу BGIPNNetflow для обработки часового лога при размере файла - 550Мб (со сжатием: datalog.flow.compression.type=1) для -Xmx512m в логи пишет Код: 10-14/09:43:30 INFO [Thread-14] DetailMaker - Started detail maker... 10-14/10:34:27 INFO [Thread-14] DetailMaker - Starting detail task... 10-14/10:34:27 INFO [Thread-14] FlowDetailMaker - Memory total: 72 155 136; max: 477 233 152; free: 41 746 472 10-14/10:34:27 INFO [Thread-14] FlowDetailMaker - Creating ipn detail range XX.XX.XX.XX-YY.YY.YY.YY from 13.10.2009 22:00:00 10-14/10:38:59 ERROR [Thread-14] DetailMaker - Java heap space java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:2786) at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:94) at java.util.zip.DeflaterOutputStream.deflate(DeflaterOutputStream.java:161) at java.util.zip.DeflaterOutputStream.write(DeflaterOutputStream.java:118) at java.util.zip.ZipOutputStream.write(ZipOutputStream.java:272) at java.io.PrintStream.write(PrintStream.java:430) at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:202) at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:272) at sun.nio.cs.StreamEncoder.flushBuffer(StreamEncoder.java:85) at java.io.OutputStreamWriter.flushBuffer(OutputStreamWriter.java:168) at java.io.PrintStream.write(PrintStream.java:477) at java.io.PrintStream.print(PrintStream.java:619) at java.io.PrintStream.append(PrintStream.java:1015) at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.printToCsv(FlowDetailMaker.java:175) at bitel.billing.server.netflow.ipn.detail.BasicFlowDetailMaker.createDetailImpl(BasicFlowDetailMaker.java:65) at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.createDetailMultipart(FlowDetailMaker.java:150) at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.createDetail(FlowDetailMaker.java:81) at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:84)

Автор:	Администратор [ 16 окт 2009, 13:12 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
Это не обработка, это кто-то детализацию запросил..

Автор:	Amir [ 16 окт 2009, 14:50 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
Раньше коллектор тоже в своем формате писал... Можем в todo записать добавить в netflow.sh команду, аналогичную flow-cat А это нормально что лог за час такой большой? Хотя похоже раз не хватает 512мб чтобы записать в сжатый csv часовой лог, то нормально... Обработка и детализация идет потоково, потому должно быть без разницы насколько большой файл. Здесь не хватает, похоже, потому что zip файл для отправки получается очень большой...

forum.bitel.ru http://forum.bitel.ru/

Можно ли обработать логи коллектора другими средствами? http://forum.bitel.ru/viewtopic.php?f=7&t=3019	Страница 1 из 1

Автор:	snark [ 16 окт 2009, 15:18 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
а ведь вроде собирались сделать формат логов аналогичный flow-tools, чтобы можно было им обрабатывать логи БГБ

Автор:	Amir [ 16 окт 2009, 15:20 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
Собирались сделать команду аналогичную flow-cat, но руки не дошли. А sflow или snmp собирать в формате flow-tools не удобно...

Автор:	snark [ 16 окт 2009, 17:37 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
Amir писал(а): Собирались сделать команду аналогичную flow-cat, но руки не дошли. не дошли вчера - дойдут завтра ... Вы сделаете, я знаю Amir писал(а): А sflow или snmp собирать в формате flow-tools не удобно... я как то предлагал формат nfdump который достаточно удобен, в него надо только snmp воткнуть

Автор:	corban [ 16 окт 2009, 18:40 ]
Заголовок сообщения:	Re: Можно ли обработать логи коллектора другими средствами?
Администратор писал(а): Это не обработка, это кто-то детализацию запросил.. так это я и запросил детализацию =) Amir писал(а): Раньше коллектор тоже в своем формате писал... Можем в todo записать добавить в netflow.sh команду, аналогичную flow-cat Да, было бы замечательно Amir писал(а): А это нормально что лог за час такой большой? Хотя похоже раз не хватает 512мб чтобы записать в сжатый csv часовой лог, то нормально... Насчет размера файла не знаю - трафик идет со скоростью порядка 700Мбит/с. Amir писал(а): Обработка и детализация идет потоково, потому должно быть без разницы насколько большой файл. Здесь не хватает, похоже, потому что zip файл для отправки получается очень большой... буду пробовать в файл формировать. Просто так за час можно сформировать, а за день я даже не представляю сколько он будет это делать?

Страница 1 из 1	Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/