forum.bitel.ru
http://forum.bitel.ru/

Файлы детализации netflow
http://forum.bitel.ru/viewtopic.php?f=7&t=3236		 Страница 1 из 1
Автор:  brammator [ 24 ноя 2009, 23:50 ]
Заголовок сообщения:  Файлы детализации netflow
Как правильно (исходя из количества абонентов и среднего трафика) рассчитать collector.capture.flow.port.x.thread.count и datalog.flow.chunk.size?

Што произойдёт, если эти параметры будут установлены меньше необходимого -- часть информации о трафике просто потеряется? Как об этом узнать, есть ли какое-то сообщение в логах?

Как сильно повышает нагрузку на систему включение сжатия при записи? Я правильно понимаю, што сжатые логи прозрачно (но медленнее) обрабатываются биллингом при запросе детализации?

Существуют ли утилиты командной строки, работающие напрямую с логами, или любой отчёт делается исключительно через админку?
Автор:  Amir [ 25 ноя 2009, 13:38 ]
Заголовок сообщения:  Re: Файлы детализации netflow
brammator писал(а):
Как правильно (исходя из количества абонентов и среднего трафика) рассчитать collector.capture.flow.port.x.thread.count и datalog.flow.chunk.size?

Што произойдёт, если эти параметры будут установлены меньше необходимого -- часть информации о трафике просто потеряется? Как об этом узнать, есть ли какое-то сообщение в логах?

http://www.bgbilling.ru/v5.0/doc/ch05s08s01.html внизу
Будет чаще сбрасываться буфер на диск. Естественно не стоит ставить меньше 1024КБ.
Количество потоков 4-20.
Настройки по умолчанию лучше всего изменять только если размер логов слишком большой по сравнению с количеством netflow потока.

brammator писал(а):
Как сильно повышает нагрузку на систему включение сжатия при записи? Я правильно понимаю, што сжатые логи прозрачно (но медленнее) обрабатываются биллингом при запросе детализации?

Чуть выше загрузка процессора при сохранении, еще меньше - при обработке.

brammator писал(а):
Существуют ли утилиты командной строки, работающие напрямую с логами

Пока нет.
Автор:  brammator [ 25 ноя 2009, 19:15 ]
Заголовок сообщения:  Re: Файлы детализации netflow
Amir писал(а):
brammator писал(а):
Как правильно (исходя из количества абонентов и среднего трафика) рассчитать collector.capture.flow.port.x.thread.count и datalog.flow.chunk.size?

Што произойдёт, если эти параметры будут установлены меньше необходимого -- часть информации о трафике просто потеряется? Как об этом узнать, есть ли какое-то сообщение в логах?

http://www.bgbilling.ru/v5.0/doc/ch05s08s01.html внизу


внимательно читал, конкретных чисел не увидел.

Amir писал(а):
Будет чаще сбрасываться буфер на диск. Естественно не стоит ставить меньше 1024КБ.
Количество потоков 4-20.
Настройки по умолчанию лучше всего изменять только если размер логов слишком большой по сравнению с количеством netflow потока.


Спасибо, учту. А как узнать "количество нетфлоу-потока"? Размер файла должен быть примерно равен трафику, приходящему на порт сборщика? Например, сейчас по iotop тред сборщика практически всегда наверху, постоянно пишет со скоростью 350 КБ/с, иногда к нему добавляется ещё один-два таких же с той же скоростью записи -- менять настройки в 10 тредов и чанк 393216 не стоит? Кстати, в конфиге строка выглядит так: datalog.chunk.size=393216 -- это опечатка в документации (там datalog.flow.chunk.size), смена синтаксиса или вообще другой параметр?

Amir писал(а):
brammator писал(а):
Существуют ли утилиты командной строки, работающие напрямую с логами

Пока нет.


А netflow.sh save? Сейчас думаю над простейшей скриптовой обвязкой, вынимающей из sql все сессии абонента с ip-адресом и грепающей вывод этого скрипта, но не уверен, што этот путь -- оптимальный. Второй -- самостоятельный разбор бинарника по имеющейся в документации -- нравится ещё меньше. Может, есть совет?
Автор:  Amir [ 26 ноя 2009, 14:48 ]
Заголовок сообщения:  Re: Файлы детализации netflow
Цитата:
ставить меньше 1024КБ.

не правильно написал - меньше 128КБ
Цитата:
со скоростью 350 КБ/с

это же в час гигабайт выходит?
какой размер одного файла?

datalog.chunk.size - это общее значение, для netflow/sflow/snmp
datalog.flow.chunk.size - только для netflow/snmp
Автор:  brammator [ 26 ноя 2009, 16:08 ]
Заголовок сообщения:  Re: Файлы детализации netflow
Amir писал(а):
Цитата:
со скоростью 350 КБ/с

это же в час гигабайт выходит?
какой размер одного файла?


.bgdl? от 400МБ до 1.7ГБ, файлы бьются по полчаса.

Amir писал(а):
datalog.chunk.size - это общее значение, для netflow/sflow/snmp
datalog.flow.chunk.size - только для netflow/snmp


Спасибо, это бы ещё и в документацию.
Автор:  Amir [ 26 ноя 2009, 16:22 ]
Заголовок сообщения:  Re: Файлы детализации netflow
Цитата:
Спасибо, это бы ещё и в документацию.

Ну по той ссылке внизу это есть и описано как работает.

Это со сжатием или без? Соизмеримо с потом netflow?
Попробуйте chunk size 4194304 и сжатие.
Автор:  brammator [ 26 ноя 2009, 18:38 ]
Заголовок сообщения:  Re: Файлы детализации netflow
Amir писал(а):
Это со сжатием или без? Соизмеримо с потом netflow?


Без сжатия. Сейчас промерял за полчаса, с точностью до мегабайта файл равен трафику.

Amir писал(а):
Попробуйте chunk size 4194304 и сжатие.


Попробую. А што увеличение чанка может дать? Разгрузку сервера за счёт менее частого сброса буфера?
Автор:  Amir [ 26 ноя 2009, 18:48 ]
Заголовок сообщения:  Re: Файлы детализации netflow
Просто обычно размер netflow потока на порядок меньше.

Цитата:
Разгрузку сервера за счёт менее частого сброса буфера?

Да, точнее уменьшение нагрузки на диск. Можно для начала 1 или 2 МБ попробовать.
Сжатие также должно уменьшить время записи на диск.
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/