UP
| forum.bitel.ru http://forum.bitel.ru/ |
|
| Netflow коллектор (вырос размер логов) http://forum.bitel.ru/viewtopic.php?f=7&t=3973 |
Страница 1 из 1 |
| Автор: | Yellowfox [ 03 май 2010, 16:29 ] |
| Заголовок сообщения: | Netflow коллектор (вырос размер логов) |
Всем привет. После обновления версии с 4.5 на 4.6, как я увидел, изменился формат записи логов нетфлоу-коллектора. Даже названия папок другие. Это понятно, нетфлоу коллекор я также обновил. Вот только раньше папки с логами за месяц не занимала больше 600МБ, а теперь имеет объем 20-25 Гб. Количество клиентов не изменилось, канал в интернет - тоже, как и его загруженность (4Мбит на 50%, и в пике - 90%) Логи собираюстя как и раньше с IPCAD на линукс роутере. Конфиг коллектора как в мануале. По-моему там ничего так и не менялось после обновления, все как было. Вопрос: Что изменилось? А главное, что делать с этими логами? Архивировать можно, но подозреваю можно оптимизировать настройками коллеткора, или нет? |
|
| Автор: | Yellowfox [ 06 май 2010, 11:47 ] |
| Заголовок сообщения: | Re: Netflow коллектор (вырос размер логов) |
UP
|
|
| Автор: | nolka4 [ 06 май 2010, 12:08 ] |
| Заголовок сообщения: | Re: Netflow коллектор (вырос размер логов) |
меня тоже интересует этот вопрос, в месяц логов на 26 гб пишется 
|
|
| Автор: | nolka4 [ 06 май 2010, 14:31 ] |
| Заголовок сообщения: | Re: Netflow коллектор (вырос размер логов) |
легким движением руки 7za ужимает 19 гиг логов до 707 мегабайт
|
|
| Автор: | vdd [ 06 май 2010, 16:30 ] |
| Заголовок сообщения: | Re: Netflow коллектор (вырос размер логов) |
nolka4 писал(а): легким движением руки 7za ужимает 19 гиг логов до 900 мегабайт 7za - это файловая система с компрессией? Если нет, то как вы научили биллинг распаковывать архив для отправки детализации? |
|
| Автор: | vdd [ 06 май 2010, 16:32 ] |
| Заголовок сообщения: | Re: Netflow коллектор (вырос размер логов) |
Мы крутили Цитата: При частом обсчете и малом потоке может возникнуть много незаполненного пространства, например: 4 рабочих потока по 524288 собирали логи за 5 минут. Минимальный размер файла будет 2МБ, а нужных данных может быть гораздо меньше. Для оптимизации в таком случае необходимо уменьшить параметр datalog.chunk.size (по умолчанию 512 * 1024 для NetFlow/sFlow и 2 * 1024 для SNMP) или же просто использовать сжатие. Если необходимо указать размер отдельно для NetFlow/sFlow и для SNMP, то можно использовать параметры datalog.flow.chunk.size и datalog.snmp.buffer.size соответсвенно. Сжатие логов используется для уменьшения потребления дискового пространства. По умолчанию сжатие выключено. Для включения необходимо указать параметр datalog.compression.type=1 (datalog.flow.compression.type отдельно для NetFlow/sFlow и datalog.snmp.compression.type для SNMP). вот отсюда http://www.bgbilling.ru/v4.6/doc/ch05s08s01.html |
|
| Автор: | Yellowfox [ 06 май 2010, 20:15 ] |
| Заголовок сообщения: | Re: Netflow коллектор (вырос размер логов) |
Спасибо! Старое конечно можно в тарболы сжимать, но последняя инфа должна быть в чистом виде |
|
| Автор: | nolka4 [ 07 май 2010, 09:02 ] |
| Заголовок сообщения: | Re: Netflow коллектор (вырос размер логов) |
vdd писал(а): nolka4 писал(а): легким движением руки 7za ужимает 19 гиг логов до 900 мегабайт 7za - это файловая система с компрессией? Если нет, то как вы научили биллинг распаковывать архив для отправки детализации? 7za - это 7-zip архиватор За текущий месяц логи будут в открытом виде, думаю, даже можно будет хранить за последних 2 месяца логи в несжатом виде, а более старые сжимать и в бекап |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|