forum.bitel.ru :: Просмотр темы - выбор коллекторав связке с flow-tools или автономный режим

До 4.3 версии включительно у нашего коллектора IPN меньшая производительность чем у связки. Но это проявлялась на очень существенных объемах. Для 4.4 коллектор существенно оптимизирован, проверена скорость до 4000 пакетов в секунду.
Поэтому, если вы сейчас только запускаете систему - ставьте автономный коллектор. Однако мы все равно рекомендуем иметь про запас резервный коллектор на случай аварии, там можно использовать flow-tools. С каждого роутера должно идти 2 потока.

Смысл вам в настройке связки, если в конце февраля уже релиз будет, а вы пока все равно только пробуете-тестите? Я это пытался сказать. У вас насколько большой трафик идет через роутер?

Связка идет по ИП адресу в названии каталога, как я понял..

Код:

sources=`$bg_loader sourcelist`

cmd_convert=""

for i in `echo $sources | sed 'y/;/\n/'`
do
    address=`echo $i | awk -F: '{print $1}'`
    source_id=`echo $i | awk -F: '{print $2}'`

    cur_dir="$bg_prefix/source_$source_id/$year/$mon/$day"

    [ ! -d $cur_dir ] ; mkdir -p $cur_dir

    cmd_convert="$cmd_convert $cur_dir/log_$hour $address "
done

Получение с коллектора списка источников с кодами и IP адресами и сборка строки вида:
"файл_с_логом_за_час ИП_адрес_источника файл_с_логом_за_час_1 ИП_адрес_источника_1"

Ну и вызов конвертера, один из параметров эта строка - другой набор файлов.

Код:

$bg_converter $cmd_convert sb $filelist >>$LOG

До разработчика попробую достучаться, это делал для себя один из клиентов.
Но насколько я понял, сопоставление идет по ИП адресу, который одинаковый в названии папки куда складывает логи flow-tools и в коллекторе.
Причем сопоставляет их уже сама CPP утилита, ей на вход передаются уже готовые список логов и источники из коллектора.

Насколько мне известно, 5ую. Вообще, можно же смотреть IP адрес отправителя пакета.

[Уважаемые разработчики, поясните, пожалуйста каким образом происходит сопоставление ip адреса раутера, с которого приходит поток Flow с идентификаторм source_id?
Дело в том мы планируем запускать несколько процессов flow-capture и складывать поток flow с каждого раутера в отдельный каталог.

Спасибо

Добрый день! Я не разработчик, но именно тот "клиент", у которого эта связка и была написана и реализована.

IP адрес роутера берётся из netflow -- каждая запись netflow в файле, сформированном flow-tools, имеет поле router-id, в котором содержится адрес роутера, пославшего эту запись (на роутерах cisco это конфигурируется командой 'ip flow-export source-interface', по умолчанию будет браться ip того интерфейса, с которого ушёл netflow-пакет). Посмотрите вывод 'flow-export -f2' (это экспорт в csv файл), Вам сразу станет понятно.

Удачи!

Автор:	Валерий [ 22 янв 2008, 11:56 ]
Заголовок сообщения:	выбор коллекторав связке с flow-tools или автономный режим
Добрый день, уважаемые разработчики! Какой наиболее оптимальный с точки зрения стабильности и производительности системы вариант использования коллектора Вы можете рекомендовать а) в связке с flow-tools б) использование коллектора в автономном режиме Спасибо С уважением, Валерий

Автор:	Администратор [ 22 янв 2008, 12:59 ]
Заголовок сообщения:
До 4.3 версии включительно у нашего коллектора IPN меньшая производительность чем у связки. Но это проявлялась на очень существенных объемах. Для 4.4 коллектор существенно оптимизирован, проверена скорость до 4000 пакетов в секунду. Поэтому, если вы сейчас только запускаете систему - ставьте автономный коллектор. Однако мы все равно рекомендуем иметь про запас резервный коллектор на случай аварии, там можно использовать flow-tools. С каждого роутера должно идти 2 потока.

Автор:	Валерий [ 22 янв 2008, 13:41 ]
Заголовок сообщения:
Администратор писал(а): До 4.3 версии включительно у нашего коллектора IPN меньшая производительность чем у связки. Но это проявлялась на очень существенных объемах. Для 4.4 коллектор существенно оптимизирован, проверена скорость до 4000 пакетов в секунду. Поэтому, если вы сейчас только запускаете систему - ставьте автономный коллектор. Однако мы все равно рекомендуем иметь про запас резервный коллектор на случай аварии, там можно использовать flow-tools. С каждого роутера должно идти 2 потока. Добрый день! спасибо за консультацию на сайте у Вас 4.3 версия доступна для загрузки Но откуда качать 4.4?

Автор:	Администратор [ 22 янв 2008, 13:47 ]
Заголовок сообщения:
4.4 пока только ALFA, доступна на ftp://bgbilling.ru/pub/bgbilling/4.4_ALFA документация http://bgbilling.ru/v4.4/doc/

Автор:	MiB [ 22 янв 2008, 19:49 ]
Заголовок сообщения:
Альфа нам не подходит. поэтому настариваем flow_tools. есть вопрос не совсем понятный из документации: вы запускаете flow tools командой: Код: /usr/local/netflow/bin/flow-capture -w /u02/flows.192.168.3.248 -n 23 0/192.168.3.248/9990 при таком запуске флов тоолс создаст в диреткории /u02/flows.192.168.3.248 один файл и будет в него писать весь поток(параметр по умолчания -N0). далее по тексту: Код: Если не менять настроек способа сохранения файлов в flow-capture, то скрипту /usr/local/sbin/flow2bitel.sh на вход подаётся имя только что закрытого файла в виде $year/$year-$mon/$year-$mon-$day/$flow_filename что соответсвует параметру "-N3" flow-tools при явном указании -N3 падает с ошибкой: Код: Jan 22 16:46:08 db flow-capture[18558]: New exporter: time=1201009568 src_ip=79.140.96.1 dst_ip=213.129.96.3 d_version=5 Jan 22 16:46:08 db flow-capture[18558]: ftfile_mkpath(2008/2008-01/2008-01-22/tmp-v05.2008-01-22.164608+0300): Value too large for defined data type и еще вопрос указание IP адреса в имени директории необходимо для работы скрипта?

forum.bitel.ru http://forum.bitel.ru/

выбор коллекторав связке с flow-tools или автономный режим http://forum.bitel.ru/viewtopic.php?f=7&t=691	Страница 1 из 1

Автор:	Администратор [ 23 янв 2008, 12:48 ]
Заголовок сообщения:
Смысл вам в настройке связки, если в конце февраля уже релиз будет, а вы пока все равно только пробуете-тестите? Я это пытался сказать. У вас насколько большой трафик идет через роутер?

Автор:	MiB [ 23 янв 2008, 13:56 ]
Заголовок сообщения:
Администратор писал(а): Смысл вам в настройке связки, если в конце февраля уже релиз будет, а вы пока все равно только пробуете-тестите? Я это пытался сказать. У вас насколько большой трафик идет через роутер? нет трафик не большой, но есть начальство которое сказало что в конце января мы должны считать трафик на всех выносах. с вышеописанной проблемой мы разобрались - для платформы x86_64 необходимо накладывать патчи на flow_tools. теперь возникает вопрос: как связаны в скрипте конвератции flow2bitel.sh логи "flow_sources" c номером источника из "sources"? как я понимаю: Код: =====flow2bitel.sh==== flow_sources="\ /var/flows/lptsk \ /var/flows/vrn \ /var/flows/tmd " =====netflow_ipn.properties==== sources=1,2,5 первая строка "flow_sources" соответсвует источнику 1(/var/flows/lptsk), вторая - источнику 2(/var/flows/vrn), третья - источнику 5(/var/flows/tmb)

Автор:	Администратор [ 23 янв 2008, 17:58 ]
Заголовок сообщения:
Связка идет по ИП адресу в названии каталога, как я понял.. Код: sources=`$bg_loader sourcelist` cmd_convert="" for i in `echo $sources \| sed 'y/;/\n/'` do address=`echo $i \| awk -F: '{print $1}'` source_id=`echo $i \| awk -F: '{print $2}'` cur_dir="$bg_prefix/source_$source_id/$year/$mon/$day" [ ! -d $cur_dir ] ; mkdir -p $cur_dir cmd_convert="$cmd_convert $cur_dir/log_$hour $address " done Получение с коллектора списка источников с кодами и IP адресами и сборка строки вида: "файл_с_логом_за_час ИП_адрес_источника файл_с_логом_за_час_1 ИП_адрес_источника_1" Ну и вызов конвертера, один из параметров эта строка - другой набор файлов. Код: $bg_converter $cmd_convert sb $filelist >>$LOG

Автор:	MiB [ 23 янв 2008, 18:30 ]
Заголовок сообщения:
не совсем понятный ответ. вернее совсем не понятный. в приведенном выше коде выполняется команда sourcelist и в циклде по количеству строк с адресами:ид_источника строится первая часть запроса к конвертеру та что до "SB" идет по вашей документации. тоесть куда_ложить_обработаные_файлы_для_ид_источника ИП_адресс в дальнейшем еще в одном цикле строится список файлов $filelist который после "SB" вот и нтересен вопрос каким образом происходит сопоставление этих файлов к конкретному источнику.

Автор:	Валерий [ 23 янв 2008, 19:39 ]
Заголовок сообщения:
Администратор писал(а): Связка идет по ИП адресу в названии каталога, как я понял.. Код: sources=`$bg_loader sourcelist` cmd_convert="" for i in `echo $sources \| sed 'y/;/\n/'` do address=`echo $i \| awk -F: '{print $1}'` source_id=`echo $i \| awk -F: '{print $2}'` cur_dir="$bg_prefix/source_$source_id/$year/$mon/$day" [ ! -d $cur_dir ] ; mkdir -p $cur_dir cmd_convert="$cmd_convert $cur_dir/log_$hour $address " done Получение с коллектора списка источников с кодами и IP адресами и сборка строки вида: "файл_с_логом_за_час ИП_адрес_источника файл_с_логом_за_час_1 ИП_адрес_источника_1" Ну и вызов конвертера, один из параметров эта строка - другой набор файлов. Код: $bg_converter $cmd_convert sb $filelist >>$LOG Уважаемые разработчики, поясните, пожалуйста каким образом происходит сопоставление ip адреса раутера, с которого приходит поток Flow с идентификаторм source_id? Дело в том мы планируем запускать несколько процессов flow-capture и складывать поток flow с каждого раутера в отдельный каталог. Спасибо

Автор:	MiB [ 23 янв 2008, 19:43 ]
Заголовок сообщения:
а можно каким-то образом пообщаться с тем кто программировал flow2bitel.cpp?

Автор:	Администратор [ 24 янв 2008, 15:16 ]
Заголовок сообщения:
До разработчика попробую достучаться, это делал для себя один из клиентов. Но насколько я понял, сопоставление идет по ИП адресу, который одинаковый в названии папки куда складывает логи flow-tools и в коллекторе. Причем сопоставляет их уже сама CPP утилита, ей на вход передаются уже готовые список логов и источники из коллектора.

Автор:	MiB [ 24 янв 2008, 15:30 ]
Заголовок сообщения:
Администратор писал(а): До разработчика попробую достучаться, это делал для себя один из клиентов. Но насколько я понял, сопоставление идет по ИП адресу, который одинаковый в названии папки куда складывает логи flow-tools и в коллекторе. Причем сопоставляет их уже сама CPP утилита, ей на вход передаются уже готовые список логов и источники из коллектора. к сожалению в С++ не силен, поэтому и спрашиваю.

Автор:	Администратор [ 24 янв 2008, 16:04 ]
Заголовок сообщения:
Да утилите этой не нужны коды источников. Ее задача - получить лог флоутулз и конвертнуть его в нужный файл нашего коллектора. Оба списка файлов с полными путями (содержащими ИП адрес) передаются. Она и сопоставляет их по адресу. Вы попробуйте сделать каталоги с ИП адресами, посмотрите flow2bitel.sh какой вызов делает утилиты, какие параметры.

Автор:	MiB [ 24 янв 2008, 17:24 ]
Заголовок сообщения:
ок. пробуем так. паралельно разбираемся в с++ вопрос: а какую версию netflow использует тот клиент который написал такую связку? насколько я помню flow v5 не хранит информацию о алдресе роутера с которого пришли пакеты.

Автор:	Dmitri [ 18 июн 2008, 21:36 ]
Заголовок сообщения:
Уважаемые разработчики! Прошу прощения что вторгаюсь в чужой диалог, но вопрос актуален и для нас сейчас...

Страница 1 из 1	Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/

Автор:	Администратор [ 24 янв 2008, 17:58 ]
Заголовок сообщения:
Насколько мне известно, 5ую. Вообще, можно же смотреть IP адрес отправителя пакета.

Автор:	MiB [ 24 янв 2008, 18:33 ]
Заголовок сообщения:
Администратор писал(а): Насколько мне известно, 5ую. Вообще, можно же смотреть IP адрес отправителя пакета. можно, при условии что flow-tools такую информацию сохраняет в файл.....

Автор:	antp [ 25 янв 2008, 00:21 ]
Заголовок сообщения:
Валерий писал(а): [Уважаемые разработчики, поясните, пожалуйста каким образом происходит сопоставление ip адреса раутера, с которого приходит поток Flow с идентификаторм source_id? Дело в том мы планируем запускать несколько процессов flow-capture и складывать поток flow с каждого раутера в отдельный каталог. Спасибо Добрый день! Я не разработчик, но именно тот "клиент", у которого эта связка и была написана и реализована. IP адрес роутера берётся из netflow -- каждая запись netflow в файле, сформированном flow-tools, имеет поле router-id, в котором содержится адрес роутера, пославшего эту запись (на роутерах cisco это конфигурируется командой 'ip flow-export source-interface', по умолчанию будет браться ip того интерфейса, с которого ушёл netflow-пакет). Посмотрите вывод 'flow-export -f2' (это экспорт в csv файл), Вам сразу станет понятно. Удачи!

Автор:	MiB [ 25 янв 2008, 13:02 ]
Заголовок сообщения:
antp писал(а): Добрый день! Я не разработчик, но именно тот "клиент", у которого эта связка и была написана и реализована. IP адрес роутера берётся из netflow -- каждая запись netflow в файле, сформированном flow-tools, имеет поле router-id, в котором содержится адрес роутера, пославшего эту запись (на роутерах cisco это конфигурируется командой 'ip flow-export source-interface', по умолчанию будет браться ip того интерфейса, с которого ушёл netflow-пакет). Посмотрите вывод 'flow-export -f2' (это экспорт в csv файл), Вам сразу станет понятно. Удачи! спасибо. на этом варианте мы и сошлись после анализа сырцов. теперь возникла проблема(и как мы видим не только у нас) описаная в соседней ветке. конвертер не работает должным образом.