BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 26 июн 2025, 11:57

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 9 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
corban
СообщениеДобавлено: 14 окт 2009, 18:25 
Есть задача обработать логи NetflowCollector 4.6 с целью получения статистики в целом, а не по конкретным адресам. Раньше логи писались в стандартном формате netflow и были средства для их обработки. Что можно сделать с файлами формата .bgdl? Например, определить приоритетные направления или порты?
Или придется параллелить flow трафик на другой сервер с обычным коллектором?
Вернуться к началу
  
 
Администратор
СообщениеДобавлено: 15 окт 2009, 17:02 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Можно поставить еще один экземпляр модуля IPN, настроить его на обработку тех же логов. И завести там целые сети.
Вернуться к началу
 Профиль  
 
corban
СообщениеДобавлено: 15 окт 2009, 18:24 
сколько ж нужно памяти процессу BGIPNNetflow для обработки часового лога при размере файла - 550Мб (со сжатием: datalog.flow.compression.type=1)

для -Xmx512m в логи пишет

Код:
10-14/09:43:30  INFO [Thread-14] DetailMaker - Started detail maker...
10-14/10:34:27  INFO [Thread-14] DetailMaker - Starting detail task...
10-14/10:34:27  INFO [Thread-14] FlowDetailMaker - Memory total: 72 155 136; max: 477 233 152; free: 41 746 472
10-14/10:34:27  INFO [Thread-14] FlowDetailMaker - Creating ipn detail range XX.XX.XX.XX-YY.YY.YY.YY from 13.10.2009 22:00:00
10-14/10:38:59 ERROR [Thread-14] DetailMaker - Java heap space
java.lang.OutOfMemoryError: Java heap space
        at java.util.Arrays.copyOf(Arrays.java:2786)
        at java.io.ByteArrayOutputStream.write(ByteArrayOutputStream.java:94)
        at java.util.zip.DeflaterOutputStream.deflate(DeflaterOutputStream.java:161)
        at java.util.zip.DeflaterOutputStream.write(DeflaterOutputStream.java:118)
        at java.util.zip.ZipOutputStream.write(ZipOutputStream.java:272)
        at java.io.PrintStream.write(PrintStream.java:430)
        at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:202)
        at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:272)
        at sun.nio.cs.StreamEncoder.flushBuffer(StreamEncoder.java:85)
        at java.io.OutputStreamWriter.flushBuffer(OutputStreamWriter.java:168)
        at java.io.PrintStream.write(PrintStream.java:477)
        at java.io.PrintStream.print(PrintStream.java:619)
        at java.io.PrintStream.append(PrintStream.java:1015)
        at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.printToCsv(FlowDetailMaker.java:175)
        at bitel.billing.server.netflow.ipn.detail.BasicFlowDetailMaker.createDetailImpl(BasicFlowDetailMaker.java:65)
        at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.createDetailMultipart(FlowDetailMaker.java:150)
        at bitel.billing.server.netflow.ipn.detail.FlowDetailMaker.createDetail(FlowDetailMaker.java:81)
        at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:84)
Вернуться к началу
  
 
Администратор
СообщениеДобавлено: 16 окт 2009, 13:12 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Это не обработка, это кто-то детализацию запросил..
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 16 окт 2009, 14:50 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Раньше коллектор тоже в своем формате писал...
Можем в todo записать добавить в netflow.sh команду, аналогичную flow-cat
А это нормально что лог за час такой большой? Хотя похоже раз не хватает 512мб чтобы записать в сжатый csv часовой лог, то нормально...

Обработка и детализация идет потоково, потому должно быть без разницы насколько большой файл. Здесь не хватает, похоже, потому что zip файл для отправки получается очень большой...
Вернуться к началу
 Профиль  
 
snark
СообщениеДобавлено: 16 окт 2009, 15:18 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
а ведь вроде собирались сделать формат логов аналогичный flow-tools, чтобы можно было им обрабатывать логи БГБ
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 16 окт 2009, 15:20 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Собирались сделать команду аналогичную flow-cat, но руки не дошли.
А sflow или snmp собирать в формате flow-tools не удобно...
Вернуться к началу
 Профиль  
 
snark
СообщениеДобавлено: 16 окт 2009, 17:37 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
Amir писал(а):
Собирались сделать команду аналогичную flow-cat, но руки не дошли.

не дошли вчера - дойдут завтра ... Вы сделаете, я знаю ;)

Amir писал(а):
А sflow или snmp собирать в формате flow-tools не удобно...

я как то предлагал формат nfdump который достаточно удобен, в него надо только snmp воткнуть
Вернуться к началу
 Профиль  
 
corban
СообщениеДобавлено: 16 окт 2009, 18:40 
Администратор писал(а):
Это не обработка, это кто-то детализацию запросил..

так это я и запросил детализацию =)

Amir писал(а):
Раньше коллектор тоже в своем формате писал...
Можем в todo записать добавить в netflow.sh команду, аналогичную flow-cat

Да, было бы замечательно

Amir писал(а):
А это нормально что лог за час такой большой? Хотя похоже раз не хватает 512мб чтобы записать в сжатый csv часовой лог, то нормально...

Насчет размера файла не знаю - трафик идет со скоростью порядка 700Мбит/с.

Amir писал(а):
Обработка и детализация идет потоково, потому должно быть без разницы насколько большой файл. Здесь не хватает, похоже, потому что zip файл для отправки получается очень большой...

буду пробовать в файл формировать. Просто так за час можно сформировать, а за день я даже не представляю сколько он будет это делать?
Вернуться к началу
  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 9 ] 

Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: Bing [Bot] и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.050s | 32 Queries | GZIP : On ]