BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 03 июл 2025, 13:21

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 8 ] 
Автор Сообщение
СообщениеДобавлено: 03 май 2010, 16:29 
Не в сети

Зарегистрирован: 26 фев 2009, 18:42
Сообщения: 46
Карма: 0
Всем привет.
После обновления версии с 4.5 на 4.6, как я увидел, изменился формат записи логов нетфлоу-коллектора. Даже названия папок другие. Это понятно, нетфлоу коллекор я также обновил.

Вот только раньше папки с логами за месяц не занимала больше 600МБ, а теперь имеет объем 20-25 Гб.

Количество клиентов не изменилось, канал в интернет - тоже, как и его загруженность (4Мбит на 50%, и в пике - 90%)
Логи собираюстя как и раньше с IPCAD на линукс роутере.

Конфиг коллектора как в мануале. По-моему там ничего так и не менялось после обновления, все как было.

Вопрос:
Что изменилось? А главное, что делать с этими логами?
Архивировать можно, но подозреваю можно оптимизировать настройками коллеткора, или нет?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 май 2010, 11:47 
Не в сети

Зарегистрирован: 26 фев 2009, 18:42
Сообщения: 46
Карма: 0
UP :roll:


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 май 2010, 12:08 
Не в сети

Зарегистрирован: 17 ноя 2009, 08:47
Сообщения: 215
Откуда: krsn
Карма: 48
меня тоже интересует этот вопрос, в месяц логов на 26 гб пишется :D

_________________
Изображение
using billingClient.BGB 4.6;
using server.Ubuntu server 9.10;
using server.Java "1.6.0_15";
using client.Ubuntu 10.04;


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 май 2010, 14:31 
Не в сети

Зарегистрирован: 17 ноя 2009, 08:47
Сообщения: 215
Откуда: krsn
Карма: 48
легким движением руки 7za ужимает 19 гиг логов до 707 мегабайт :D

_________________
Изображение
using billingClient.BGB 4.6;
using server.Ubuntu server 9.10;
using server.Java "1.6.0_15";
using client.Ubuntu 10.04;


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 май 2010, 16:30 
Не в сети

Зарегистрирован: 16 ноя 2007, 16:11
Сообщения: 829
Карма: 49
nolka4 писал(а):
легким движением руки 7za ужимает 19 гиг логов до 900 мегабайт :D

7za - это файловая система с компрессией? Если нет, то как вы научили биллинг распаковывать архив для отправки детализации?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 май 2010, 16:32 
Не в сети

Зарегистрирован: 16 ноя 2007, 16:11
Сообщения: 829
Карма: 49
Мы крутили
Цитата:
При частом обсчете и малом потоке может возникнуть много незаполненного пространства, например: 4 рабочих потока по 524288 собирали логи за 5 минут. Минимальный размер файла будет 2МБ, а нужных данных может быть гораздо меньше. Для оптимизации в таком случае необходимо уменьшить параметр datalog.chunk.size (по умолчанию 512 * 1024 для NetFlow/sFlow и 2 * 1024 для SNMP) или же просто использовать сжатие. Если необходимо указать размер отдельно для NetFlow/sFlow и для SNMP, то можно использовать параметры datalog.flow.chunk.size и datalog.snmp.buffer.size соответсвенно.
Сжатие логов используется для уменьшения потребления дискового пространства. По умолчанию сжатие выключено. Для включения необходимо указать параметр datalog.compression.type=1 (datalog.flow.compression.type отдельно для NetFlow/sFlow и datalog.snmp.compression.type для SNMP).


вот отсюда http://www.bgbilling.ru/v4.6/doc/ch05s08s01.html


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 06 май 2010, 20:15 
Не в сети

Зарегистрирован: 26 фев 2009, 18:42
Сообщения: 46
Карма: 0
Спасибо!

Старое конечно можно в тарболы сжимать, но последняя инфа должна быть в чистом виде


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 07 май 2010, 09:02 
Не в сети

Зарегистрирован: 17 ноя 2009, 08:47
Сообщения: 215
Откуда: krsn
Карма: 48
vdd писал(а):
nolka4 писал(а):
легким движением руки 7za ужимает 19 гиг логов до 900 мегабайт :D

7za - это файловая система с компрессией? Если нет, то как вы научили биллинг распаковывать архив для отправки детализации?

7za - это 7-zip архиватор :D

За текущий месяц логи будут в открытом виде, думаю, даже можно будет хранить за последних 2 месяца логи в несжатом виде, а более старые сжимать и в бекап

_________________
Изображение
using billingClient.BGB 4.6;
using server.Ubuntu server 9.10;
using server.Java "1.6.0_15";
using client.Ubuntu 10.04;


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.037s | 32 Queries | GZIP : On ]