BiTel

Добрый день, уважаемые разработчики!

Какой наиболее оптимальный с точки зрения стабильности и производительности системы вариант использования коллектора Вы можете рекомендовать
а) в связке с flow-tools
б) использование коллектора в автономном режиме


Спасибо

С уважением,
Валерий

_________________
С уважением,
Валерий

До 4.3 версии включительно у нашего коллектора IPN меньшая производительность чем у связки. Но это проявлялась на очень существенных объемах. Для 4.4 коллектор существенно оптимизирован, проверена скорость до 4000 пакетов в секунду.
Поэтому, если вы сейчас только запускаете систему - ставьте автономный коллектор. Однако мы все равно рекомендуем иметь про запас резервный коллектор на случай аварии, там можно использовать flow-tools. С каждого роутера должно идти 2 потока.

Добрый день!
спасибо за консультацию
на сайте у Вас 4.3 версия доступна для загрузки
Но откуда качать 4.4?

_________________
С уважением,
Валерий

4.4 пока только ALFA, доступна на
ftp://bgbilling.ru/pub/bgbilling/4.4_ALFA
документация
http://bgbilling.ru/v4.4/doc/

Альфа нам не подходит. поэтому настариваем flow_tools.
есть вопрос не совсем понятный из документации:
вы запускаете flow tools командой:

при таком запуске флов тоолс создаст в диреткории /u02/flows.192.168.3.248 один файл и будет в него писать весь поток(параметр по умолчания -N0).
далее по тексту:

что соответсвует параметру "-N3"
flow-tools при явном указании -N3 падает с ошибкой:


и еще вопрос указание IP адреса в имени директории необходимо для работы скрипта?

Смысл вам в настройке связки, если в конце февраля уже релиз будет, а вы пока все равно только пробуете-тестите? Я это пытался сказать. У вас насколько большой трафик идет через роутер?

нет трафик не большой, но есть начальство которое сказало что в конце января мы должны считать трафик на всех выносах.
с вышеописанной проблемой мы разобрались - для платформы x86_64 необходимо накладывать патчи на flow_tools.


теперь возникает вопрос: как связаны в скрипте конвератции flow2bitel.sh логи "flow_sources" c номером источника из "sources"?
как я понимаю:

первая строка "flow_sources" соответсвует источнику 1(/var/flows/lptsk),
вторая - источнику 2(/var/flows/vrn),
третья - источнику 5(/var/flows/tmb)

Связка идет по ИП адресу в названии каталога, как я понял..



Получение с коллектора списка источников с кодами и IP адресами и сборка строки вида:
"файл_с_логом_за_час ИП_адрес_источника файл_с_логом_за_час_1 ИП_адрес_источника_1"

Ну и вызов конвертера, один из параметров эта строка - другой набор файлов.

не совсем понятный ответ. вернее совсем не понятный.

в приведенном выше коде выполняется команда sourcelist
и в циклде по количеству строк с адресами:ид_источника строится первая часть запроса к конвертеру та что до "SB" идет по вашей документации. тоесть куда_ложить_обработаные_файлы_для_ид_источника ИП_адресс
в дальнейшем еще в одном цикле строится список файлов $filelist который после "SB" вот и нтересен вопрос каким образом происходит сопоставление этих файлов к конкретному источнику.

Уважаемые разработчики, поясните, пожалуйста каким образом происходит сопоставление ip адреса раутера, с которого приходит поток Flow с идентификаторм source_id?
Дело в том мы планируем запускать несколько процессов flow-capture и складывать поток flow с каждого раутера в отдельный каталог.

Спасибо

_________________
С уважением,
Валерий

а можно каким-то образом пообщаться с тем кто программировал flow2bitel.cpp?

До разработчика попробую достучаться, это делал для себя один из клиентов.
Но насколько я понял, сопоставление идет по ИП адресу, который одинаковый в названии папки куда складывает логи flow-tools и в коллекторе.
Причем сопоставляет их уже сама CPP утилита, ей на вход передаются уже готовые список логов и источники из коллектора.

к сожалению в С++ не силен, поэтому и спрашиваю.

Да утилите этой не нужны коды источников. Ее задача - получить лог флоутулз и конвертнуть его в нужный файл нашего коллектора.
Оба списка файлов с полными путями (содержащими ИП адрес) передаются. Она и сопоставляет их по адресу. Вы попробуйте сделать каталоги с ИП адресами, посмотрите flow2bitel.sh какой вызов делает утилиты, какие параметры.

ок. пробуем так. паралельно разбираемся в с++

вопрос: а какую версию netflow использует тот клиент который написал такую связку? насколько я помню flow v5 не хранит информацию о алдресе роутера с которого пришли пакеты.

Насколько мне известно, 5ую. Вообще, можно же смотреть IP адрес отправителя пакета.

можно, при условии что flow-tools такую информацию сохраняет в файл.....

Добрый день! Я не разработчик, но именно тот "клиент", у которого эта связка и была написана и реализована.

IP адрес роутера берётся из netflow -- каждая запись netflow в файле, сформированном flow-tools, имеет поле router-id, в котором содержится адрес роутера, пославшего эту запись (на роутерах cisco это конфигурируется командой 'ip flow-export source-interface', по умолчанию будет браться ip того интерфейса, с которого ушёл netflow-пакет). Посмотрите вывод 'flow-export -f2' (это экспорт в csv файл), Вам сразу станет понятно.

Удачи!

спасибо.
на этом варианте мы и сошлись после анализа сырцов.

теперь возникла проблема(и как мы видим не только у нас) описаная в соседней ветке. конвертер не работает должным образом.

Уважаемые разработчики!

Прошу прощения что вторгаюсь в чужой диалог, но вопрос актуален и для нас сейчас...