BiTel

А какие планы по фильтрам netflow для версии 6.1?

Пока только попробовать применить сжатие lzma. На тестах получалось, насколько помню, почти в два раза меньше объем, чем на 5 zlib.

Сжатие уже давно есть и даже как-то работает, вот только эта тема совсем о другом.

Плюсану тему. Сделал себе с помощью скриптов нечто подобное в IPN для Сisco ASR.
Там есть какая-то бага в ios, из-за которой через CoA+ISG нельзя включить/отключить flow на интерфейсе.
Поэтому у нас flow включен везде, а скриптами формируются black/white-списки, по которым лишнее отрезается.
Но, с другой стороны, у нас сбор флоу производится сторонним коллектором, а потом скриптами конвертируется, отрезается лишнее и подсовывается биллингу.

Сохранение в своем формате (а чтобы фильтровать записи отдельно, нужно сохранять в своем формате) будет работать для netflow 1-5. А вот для sFlow и Netflow 9, которые передают не только flow-записи - это как-то странно.
Например, сейчас делаем доработку - Redback умеет слать лог NAT-трансляций в Netflow 9 и это нужно будет обрабатывать для того же поиска абонента по IP-адресу. Для этого придумать еще один собственный формат записи? А потом появится что-нибудь еще - и так и будет для каждого шаблона Netflow 9 у нас собственный клон?

Т.к. у вас свой формат, то вам, в первую очередь, стоит ориентироваться на поддержку современных технологий в лице IPFIX / sFlow / netflow v9, по которым хотя бы RFC есть, а все устаревшие писать подгоняя данные под эти технологии в своем формате.
Например: нету в snmp адресов/портов, есть только октеты - ну и ладно, пишите вместо них нолик или что вам там удобнее писать для сохранения формата
Кстати, для поддержки нового формата с балеринами и поэтессами достаточно выложить конвертер из старого формата в новый. dialup/ipn в inet конвертнули же и ничего, никто не умер.
Как один из вариантов работы фильтра можно предложить сбрасывать поток во временный файл, а при его ротации (т.е. нынешнем закрытии файла) фильтровать данные и сбрасывать на диск в файл bgdl только то что нужно.

У нас не свой формат, а скорее контейнер. А пакеты хранятся внутри в том виде, в котором пришли.
Поэтому нельзя сейчас фильтровать отдельно записи, а только пакет, в котором все записи подходят под фильтр.

ОК, дайте возможность отбрасывать пакеты на основании, например src/dst port/as - нам этого хватит, чтобы не хранить тонны ненужной инфы.

+1000%

А можно здесь поподробнее о lzma?
Нигде не попадалась эта информация...
Что прописать для lzma и уровень сжатия?

Ув. разработчики, можете дать ответ на мой предыдущий пост?

Я про планы, т.е. lzma пока еще нет.

Выложили обновление для 6.0, добавили сжатие XZ. Чтобы заработало нужно после обновления BGBillingServer скопировать lib/ext/xz.jar в InetAccess|InetAccounting/lib/ext/
Сжимает лучше, чем gzip, но больше процессорного времени тратит. Хотя при level=3 по нагрузке на процессор не сильная разница, но уже сжатие сильнее. На level=5 где-то раза в полтора сильнее сжимает.

<!-- Сжимать flow логи: 0 - не сжимать, 1 - zlib, 3 - xz -->
<param name="datalog.flow.compression.type" value="3" />
<!-- Уровень сжатия flow логов 1-9. 7,8,9 - не рекомендуется -->
<param name="datalog.flow.compression.level" value="3" />

Но желательно сначала протестить, т.к. эту библиотеку (xz.jar) мы до этого ни разу не использовали.
Не забудьте сделать бэкап старых библиотек.

вот на день позже обновляться нужно было....эх

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений

Обновился вчера до последней версии.
И решил заодно проверить новое сжатие для flow.
Скопировал xz.jar.
Изменил:
<!-- Сжимать flow логи: 0 - не сжимать, 1 - zlib, 3 - xz -->
<param name="datalog.flow.compression.type" value="3" />
<!-- Уровень сжатия flow логов 1-9. 7,8,9 - не рекомендуется -->
<param name="datalog.flow.compression.level" value="5" />
Обещанного "На level=5 где-то раза в полтора сильнее сжимает" не заметил.
Точнее вообще размеры не изменились - все осталось также.

А если .data скопировать и переименовать в .xz - открывается как архив xz? Т.е. там точно сейчас сжимает в xz?

Попробовал переименовал:
Походу не понимет его....

Файл начинается с - "78 9C 94 9D"
Раньше с zlib было - "78 01 94 5D"
Я все делал по инструкции:
-библиотеку залил
-конфиг поменял
-inet обновил
-inet перезапустил

Может быть где-то как-то переопределено?
Должно начинаться с FD 37 7A 58 5A (7zXZ).

А как это может переопределено?
Библиотека ваша.
Все делал по инструкции....

В логах ошибок нет?
datalog.flow.compression.type где-нибудь еще не указан (например в конфигурации сервера или модуля)?
Это логи netflow (не snmp)?

На 6.0 сейчас проверил, указал
<param name="datalog.flow.compression.type" value="3" />
<param name="datalog.flow.compression.level" value="5" />
Работает.

Да это flow, но вот действительно datalog.flow.compression.type=1 где я только и не нашел.
Все заработало.
Предварительно размер начал уменьшаться - точно скажу через пару дней.
Спасибо.

P.S.
1) Для радиуса (access, accounting) его тоже можно применить?
2) При извлении с консоли детализации через flowExport не извлекаются номера протоколов. Это можно исправить?
3) И насчет самого фильтра по опреденным параметрам перед сохранением (сети, протоколи) мысли не появились?

1. Да.
2. Вроде должно, столбец есть, но значения нет? Тип сжатия не должен был повлиять.
3. Это нужно делать формат логов, чтобы каждую запись отдельно писать, а не пакет целиком. Не успеваем пока, большая загруженность.

Номера протокола я нигда там не видел - об этом не раз писали на форуме.
Вот шапка и данные, которые выдает export:

IP есть, порты есть, интерфейсы есть, объем есть - номера протокола нету.

1) О результатах перехода на использования сжатия XZ отписался сюда : http://forum.bitel.ru/viewtopic.php?f=44&t=8700&p=77522#p77522
2) проверил на последних сборках "flow-export" - номер протокола уже присутствует.
И конечно отвязка "flow-export" от inet-accounting это сила.

Вот если бы еще в доку не забывали писать, было бы вообще хорошо, а то половину всех конфигов приходится на форуме по крупицам собирать

постоянно сидя, и читая rss вроде цепляешь все ))))
а так дока вообще жидкая

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений