forum.bitel.ru
http://forum.bitel.ru/

netflow только для подсчета трафика
http://forum.bitel.ru/viewtopic.php?f=44&t=7966
Страница 1 из 1

Автор:  a.vozny [ 17 апр 2013, 11:22 ]
Заголовок сообщения:  netflow только для подсчета трафика

1) можно ли сделать так что бы в логах хранилась информация только по объему трафика ? а то папка data/flow уже 90G
2) как сделать что бы история с детализацией трафика хранилась определенные период, текущий и предыдущий месяц ,
ну и пор возможности при превышении к примеру 30 GB старые данные затирались ?

Автор:  Phricker [ 17 апр 2013, 11:26 ]
Заголовок сообщения:  Re: netflow только для подсчета трафика

1) не хранить netflow и брать данные об объеме из RADIUS'а?
2) скрипт в крон добавить. либо купить модуль DBA, и в нем посмотреть как это выглядит
Изображение

Автор:  Cromeshnic [ 17 апр 2013, 11:50 ]
Заголовок сообщения:  Re: netflow только для подсчета трафика

Можно просто удалять старые логи flow - информация об объеме уже находится в базе.
Если потом не запускать переобработку логов, то всё будет ок. Наверняка даже если запустить переобработку при отсутствии логов, то данные не занулястя (вопрос к разработчикам).

Автор:  Amir [ 17 апр 2013, 19:11 ]
Заголовок сообщения:  Re: netflow только для подсчета трафика

1. Включено сжатие логов?

В inet-accounting.xml:
Цитата:
<!-- Параметры сохранения radius-пакетов в файлы логов -->
<!-- Директория, в которую сохранять radius логи -->
<param name="datalog.radius.dir" value="data/radius" />
<!-- Размер блока данных в файле лога, также размер буфера на лог файл -->
<param name="datalog.radius.chunk.size" value="524288" />
<!-- Сжимать radius логи: 0 - не сжимать, 1 - zlib -->
<param name="datalog.radius.compression.type" value="1" />
<!-- Параметры сохранения flow-пакетов в файлы логов -->
<!-- Директория, в которую сохранять flow логи -->
<param name="datalog.flow.dir" value="data/flow" />
<!-- Размер блока данных в файле лога, также размер буфера на лог файл и поток слушателя -->
<param name="datalog.flow.chunk.size" value="524288" />
<!-- Сжимать flow логи: 0 - не сжимать, 1 - zlib -->
<param name="datalog.flow.compression.type" value="1" />

Также есть возможность фильтровать сохраняемые пакеты, но, т.к. у нас в лог сохраняется весь Netflow-пакет, то фильтровать будет далеко не все пакеты.
Цитата:
Если необходимо исключить из сохранения и обработки пакеты, в которых отсутствуют записи с IP-адресами, принадлежащими одному из заведенных диапазонов IP-ресурсов, в inet-accounting.xml для слушателя нужно указать параметр <param name="ipResourceFilter" value="1"/>, или же глобально (т.е. для всех слушателей) - в конфигурации модуля:
Код:
# Фильтр flow пакетов:
# 0 (по умолчанию) - не фильтровать, 1 - не сохранять и не обрабатывать пакеты, в которых нет записей с IP-адресами из IP-ресурсов,
# 2 - то же самое, что 1, но с учетом периодов IP-ресурсов.
flow.ipResourceFilter=1

Также это верно для Inet:
Цитата:
Сбор и сохранение логов происходит в блоки (chunk), которые при заполнении сбрасываются в файл. Размер блока datalog.chunk.size. При обсчете/переходе часа блоки также сбрасываются в файл, при этом пустое пространство заполнено нулями.

При частом обсчете и малом потоке может возникнуть много незаполненного пространства, например: 4 рабочих потока по 524288 собирали логи за 5 минут. Минимальный размер файла будет 2МБ, а нужных данных может быть гораздо меньше. Для оптимизации в таком случае необходимо уменьшить параметр datalog.chunk.size (по умолчанию 512 * 1024 для NetFlow/sFlow и 2 * 1024 для SNMP) или же просто использовать сжатие. Если необходимо указать размер отдельно для NetFlow/sFlow и для SNMP, то можно использовать параметры datalog.flow.chunk.size и datalog.snmp.buffer.size соответсвенно.

Сжатие логов используется для уменьшения потребления дискового пространства. По умолчанию сжатие выключено. Для включения необходимо указать параметр datalog.compression.type=1 (datalog.flow.compression.type отдельно для NetFlow/sFlow и datalog.snmp.compression.type для SNMP).
Включенное сжатие, естественно, очень хорошо убирает незаполненные пространства.

Автор:  Amir [ 17 апр 2013, 19:14 ]
Заголовок сообщения:  Re: netflow только для подсчета трафика

2. Пока в модуле DBA нет поддержки Inet, насколько знаю. В БД легко можно увидеть все помесячные таблицы модуля.

Цитата:
Наверняка даже если запустить переобработку при отсутствии логов, то данные не занулястя (вопрос к разработчикам).
Занулятся.

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/