forum.bitel.ru http://forum.bitel.ru/ |
|
Софт, настройки и пр. для работы с NetFlow http://forum.bitel.ru/viewtopic.php?f=22&t=2590 |
Страница 1 из 1 |
Автор: | Yagoda [ 17 июл 2009, 09:58 ] |
Заголовок сообщения: | Софт, настройки и пр. для работы с NetFlow |
Корректнее, наверное, было бы делать тему в разделе IPN. Но все-же это "установка и настройка"... И так. БГБ использует NetFlow. Софта такого много, вариантов настроек - куча. Ситуаций масса... Но, думаю, некоторые соображения будут одинаковы для всех. Материалов по работе с NetFlow в Интернете куча, но применительно к биллингу вообще и к БГБ в часности, вероятно, будут свои нюансы... Очень интересно, кто какой софт использует, на какие грабли наступал, может тут кто-то свою проблему выскажет. Ну а "коллективный разум" поможет... Для затравки: Коллектор. Для приема NetFlow, наверное, самое лучшее - flow-tools. Принимает-раскладывает как хочется, им-же и анализировать можно при надобности. Есть обработка очередного файла. Вот интересно, а использует кто-то для этого средства БГБ? И если использует, то какие объемы трафика? Имею ввиду именно сбор логов, не обработку, т.е. коллектор. А может кто-то другое что юзает? Источник... Я лично пробовал fprobe. Из недостатков - возможны потери. К тому же, на моей версии он не умеет нормально выгружаться. Если сделать stop и start, то остается старый процесс и запускается новый. В результате поток NetFlow удваивается. Ну и показания трафика соответственно... Приходится killall'м убивать. Также по нагрузке - систему довольно-таки нагружает. Еще недостаток - считает весь трафик, проходящий через интерфейс. А весь логитовать (лично мне) не надо. Т.е. объем логов вполне можно сократить. Можно в конфигурации задать фильтры, но много там не нафильтруешь... Присматриваюсь к fprobe-ulog в связке с iptables... Потери исключены, что хочу то и логирую, по нагрузке пишут что не сильно нагружает. Может кто пробовал? |
Автор: | snark [ 17 июл 2009, 21:14 ] |
Заголовок сообщения: | Re: Софт, настройки и пр. для работы с NetFlow |
Yagoda писал(а): БГБ использует NetFlow. ... Коллектор. Для приема NetFlow, наверное, самое лучшее - flow-tools. чем Вас собсно встроенный в бгб коллектор не устраивает? формат файлов у него a-la flow-tools Yagoda писал(а): Источник... т.к. все сильные медиумы этого форума уехали на программу "Битва экстрасенсов", то вопрос оси источника остается открытым ... лишь основываясь на на том что Вы писали: Yagoda писал(а): Присматриваюсь к fprobe-ulog в связке с iptables
я осмелюсь сделать предположение что роутер на линухе ... но мб Вы проясните ситуацию? |
Автор: | abehterev [ 18 июл 2009, 03:22 ] |
Заголовок сообщения: | |
Я пользую встроеный BGB. Не виду смысла изобретать велосипед собирая flow-tools, а затем разгребая тем же BGB. Source - cisco2851. Все отлично работает. Объемы, думаю, косвенно ясны, исходя из оборудования. А что-то не работает? |
Автор: | Yagoda [ 20 июл 2009, 06:52 ] |
Заголовок сообщения: | Re: Софт, настройки и пр. для работы с NetFlow |
snark писал(а): чем Вас собсно встроенный в бгб коллектор не устраивает? формат файлов у него a-la flow-tools Разработчики рекомендуют юзать flow-tools. Чисто умозрительно - программа на С должна работать быстрее, чем программа на яве... Хотя, наверное, имеет смысл попробовать. snark писал(а): т.к. все сильные медиумы этого форума уехали на программу "Битва экстрасенсов", то вопрос оси источника остается открытым ...
**** я осмелюсь сделать предположение что роутер на линухе ... но мб Вы проясните ситуацию? У меня, да, - на лине. Но вообще-то, хотелось поднять тему более общую. Логи надо хранить. А применительно к биллингу - надо хранить логи по тарифицируемому трафику 6 месяцев. Многие источники не имеют настроек что логировать, а что нет. Ну или эти настройки мало функциональны. У многих тарифицируется не весь трафик. Например, часто исходящий бесплатный, внутренний, есть бесрлатные ресурсы. При этом, объемы трафика там обычно большие... Объем flow-логов прямо пропорционален объему трафика. И хотя дисковое пространство все дешевеет, но быстрые RAID массивы - удовольствие дорогое. И стоимость хранения уже имеет смысл учитывать. К примеру, источник - циска. В моем случае, тарифицируемый трафик составляет всего несколько процентов от всего, проходящего через эту циску. Хранить за каждый месяц 10 GB или 100 GB, - разница существенная... Хотя, как вариант, в конце каждого месяца можно пересобирать все логи - оставлять только тарифицируемый. Дополнительно, можно скидывать логи за закончившийся месяц на большой массив. Но, однако, хотелось бы иметь историю "под рукой". Для Linux есть удобный fprobe-ulog. Что логировать - в правилах iptables. Дополнительно, исключены потери. Попробовал. Площадка тестовая, трафика немного и машина слабенькая. Процессор временами нагружается сильно. Нагружается обработчик Userspace. Есть еще более удобный ipt-netflow - модуль для iptables. Но модуль не официальный, на данный момент версии для последнего ядра нет. Собрать модуль для ядра 2.6.26 у меня не получилось (может руки кривые). На много лучше дело в BSD, там есть стандартный ng_netflow. Не пробовал, пишу по отзывам. Вроде как потери исключены, машину не грузит. Про возможности настройки - не знаю. Все это ИМХО. И хотелось услышать мнения более знающих... |
Автор: | snark [ 20 июл 2009, 16:47 ] |
Заголовок сообщения: | Re: Софт, настройки и пр. для работы с NetFlow |
Yagoda писал(а): И хотелось услышать мнения более знающих я хоть и не гуру, но если Вы позволите, я все же выскажусь Yagoda писал(а): На много лучше дело в BSD, там есть стандартный ng_netflow. Не пробовал, пишу по отзывам. Вроде как потери исключены, машину не грузит. Про возможности настройки - не знаю. ng_netflow вообще не грузит машину, равно как и ipfw отдающий ему пакеты, т.е. в ipfw вы рисуете правило на основании которого и будете получать netflow ... в ng_netflow есть правда одно НО - он не отправит пакет коллектору пока не наберет 30 записей, но при достаточном количестве трафика Вы этого не заметите ... Yagoda писал(а): хотелось бы иметь историю "под рукой" втащите свои старые логи в мускул, а еще лучше в постргес, там просто выберите из всей массы трафик с/на интересующий Вас адреса и пусть он себе там лежит - доступ будет будет быстрым и удобным ![]() Yagoda писал(а): Чисто умозрительно - программа на С должна работать быстрее, чем программа на яве погуглите, Вы увидите что есть масса коллекторов яве которые не уступают С-шным и многие их используют в продакшене ... а некоторые вообще используют коллекторы на перле Yagoda писал(а): наверное, имеет смысл попробовать
обязательно попробуйте! мой опыт работы с БГБ я могу охарактеризовать только как крайне положительный, правда к его логике пришлось привыкать, но это всегда так с биллингами ... |
Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |