BiTel

Корректнее, наверное, было бы делать тему в разделе IPN.
Но все-же это "установка и настройка"...

И так. БГБ использует NetFlow. Софта такого много, вариантов настроек - куча. Ситуаций масса... Но, думаю, некоторые соображения будут одинаковы для всех.

Материалов по работе с NetFlow в Интернете куча, но применительно к биллингу вообще и к БГБ в часности, вероятно, будут свои нюансы...

Очень интересно, кто какой софт использует, на какие грабли наступал, может тут кто-то свою проблему выскажет. Ну а "коллективный разум" поможет...

Для затравки:

Коллектор.
Для приема NetFlow, наверное, самое лучшее - flow-tools.
Принимает-раскладывает как хочется, им-же и анализировать можно при надобности. Есть обработка очередного файла.
Вот интересно, а использует кто-то для этого средства БГБ? И если использует, то какие объемы трафика? Имею ввиду именно сбор логов, не обработку, т.е. коллектор.
А может кто-то другое что юзает?

Источник...
Я лично пробовал fprobe. Из недостатков - возможны потери. К тому же, на моей версии он не умеет нормально выгружаться. Если сделать stop и start, то остается старый процесс и запускается новый. В результате поток NetFlow удваивается. Ну и показания трафика соответственно... Приходится killall'м убивать.
Также по нагрузке - систему довольно-таки нагружает.
Еще недостаток - считает весь трафик, проходящий через интерфейс. А весь логитовать (лично мне) не надо. Т.е. объем логов вполне можно сократить. Можно в конфигурации задать фильтры, но много там не нафильтруешь...

Присматриваюсь к fprobe-ulog в связке с iptables... Потери исключены, что хочу то и логирую, по нагрузке пишут что не сильно нагружает.
Может кто пробовал?

чем Вас собсно встроенный в бгб коллектор не устраивает? формат файлов у него a-la flow-tools


т.к. все сильные медиумы этого форума уехали на программу "Битва экстрасенсов", то вопрос оси источника остается открытым ... лишь основываясь на на том что Вы писали:

я осмелюсь сделать предположение что роутер на линухе ... но мб Вы проясните ситуацию?

Я пользую встроеный BGB. Не виду смысла изобретать велосипед собирая flow-tools, а затем разгребая тем же BGB. Source - cisco2851. Все отлично работает. Объемы, думаю, косвенно ясны, исходя из оборудования. А что-то не работает?

_________________
Что делаю, то и пишу
http://behterev.su/

Разработчики рекомендуют юзать flow-tools. Чисто умозрительно - программа на С должна работать быстрее, чем программа на яве...
Хотя, наверное, имеет смысл попробовать.

У меня, да, - на лине. Но вообще-то, хотелось поднять тему более общую.

Логи надо хранить. А применительно к биллингу - надо хранить логи по тарифицируемому трафику 6 месяцев.
Многие источники не имеют настроек что логировать, а что нет. Ну или эти настройки мало функциональны. У многих тарифицируется не весь трафик. Например, часто исходящий бесплатный, внутренний, есть бесрлатные ресурсы. При этом, объемы трафика там обычно большие... Объем flow-логов прямо пропорционален объему трафика.
И хотя дисковое пространство все дешевеет, но быстрые RAID массивы - удовольствие дорогое. И стоимость хранения уже имеет смысл учитывать.

К примеру, источник - циска. В моем случае, тарифицируемый трафик составляет всего несколько процентов от всего, проходящего через эту циску. Хранить за каждый месяц 10 GB или 100 GB, - разница существенная...
Хотя, как вариант, в конце каждого месяца можно пересобирать все логи - оставлять только тарифицируемый. Дополнительно, можно скидывать логи за закончившийся месяц на большой массив.
Но, однако, хотелось бы иметь историю "под рукой".

Для Linux есть удобный fprobe-ulog. Что логировать - в правилах iptables. Дополнительно, исключены потери. Попробовал. Площадка тестовая, трафика немного и машина слабенькая. Процессор временами нагружается сильно. Нагружается обработчик Userspace.
Есть еще более удобный ipt-netflow - модуль для iptables. Но модуль не официальный, на данный момент версии для последнего ядра нет.
Собрать модуль для ядра 2.6.26 у меня не получилось (может руки кривые).

На много лучше дело в BSD, там есть стандартный ng_netflow. Не пробовал, пишу по отзывам. Вроде как потери исключены, машину не грузит. Про возможности настройки - не знаю.

Все это ИМХО. И хотелось услышать мнения более знающих...

я хоть и не гуру, но если Вы позволите, я все же выскажусь


ng_netflow вообще не грузит машину, равно как и ipfw отдающий ему пакеты, т.е. в ipfw вы рисуете правило на основании которого и будете получать netflow ... в ng_netflow есть правда одно НО - он не отправит пакет коллектору пока не наберет 30 записей, но при достаточном количестве трафика Вы этого не заметите ...


втащите свои старые логи в мускул, а еще лучше в постргес, там просто выберите из всей массы трафик с/на интересующий Вас адреса и пусть он себе там лежит - доступ будет будет быстрым и удобным


погуглите, Вы увидите что есть масса коллекторов яве которые не уступают С-шным и многие их используют в продакшене ... а некоторые вообще используют коллекторы на перле


обязательно попробуйте! мой опыт работы с БГБ я могу охарактеризовать только как крайне положительный, правда к его логике пришлось привыкать, но это всегда так с биллингами ...