BiTel

Как правильно (исходя из количества абонентов и среднего трафика) рассчитать collector.capture.flow.port.x.thread.count и datalog.flow.chunk.size?

Што произойдёт, если эти параметры будут установлены меньше необходимого -- часть информации о трафике просто потеряется? Как об этом узнать, есть ли какое-то сообщение в логах?

Как сильно повышает нагрузку на систему включение сжатия при записи? Я правильно понимаю, што сжатые логи прозрачно (но медленнее) обрабатываются биллингом при запросе детализации?

Существуют ли утилиты командной строки, работающие напрямую с логами, или любой отчёт делается исключительно через админку?

http://www.bgbilling.ru/v5.0/doc/ch05s08s01.html внизу
Будет чаще сбрасываться буфер на диск. Естественно не стоит ставить меньше 1024КБ.
Количество потоков 4-20.
Настройки по умолчанию лучше всего изменять только если размер логов слишком большой по сравнению с количеством netflow потока.


Чуть выше загрузка процессора при сохранении, еще меньше - при обработке.


Пока нет.

внимательно читал, конкретных чисел не увидел.



Спасибо, учту. А как узнать "количество нетфлоу-потока"? Размер файла должен быть примерно равен трафику, приходящему на порт сборщика? Например, сейчас по iotop тред сборщика практически всегда наверху, постоянно пишет со скоростью 350 КБ/с, иногда к нему добавляется ещё один-два таких же с той же скоростью записи -- менять настройки в 10 тредов и чанк 393216 не стоит? Кстати, в конфиге строка выглядит так: datalog.chunk.size=393216 -- это опечатка в документации (там datalog.flow.chunk.size), смена синтаксиса или вообще другой параметр?



А netflow.sh save? Сейчас думаю над простейшей скриптовой обвязкой, вынимающей из sql все сессии абонента с ip-адресом и грепающей вывод этого скрипта, но не уверен, што этот путь -- оптимальный. Второй -- самостоятельный разбор бинарника по имеющейся в документации -- нравится ещё меньше. Может, есть совет?

не правильно написал - меньше 128КБ

это же в час гигабайт выходит?
какой размер одного файла?

datalog.chunk.size - это общее значение, для netflow/sflow/snmp
datalog.flow.chunk.size - только для netflow/snmp

.bgdl? от 400МБ до 1.7ГБ, файлы бьются по полчаса.



Спасибо, это бы ещё и в документацию.

Ну по той ссылке внизу это есть и описано как работает.

Это со сжатием или без? Соизмеримо с потом netflow?
Попробуйте chunk size 4194304 и сжатие.

Без сжатия. Сейчас промерял за полчаса, с точностью до мегабайта файл равен трафику.



Попробую. А што увеличение чанка может дать? Разгрузку сервера за счёт менее частого сброса буфера?

Просто обычно размер netflow потока на порядок меньше.


Да, точнее уменьшение нагрузки на диск. Можно для начала 1 или 2 МБ попробовать.
Сжатие также должно уменьшить время записи на диск.