BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 22 июн 2025, 16:52

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 16 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
and
 Заголовок сообщения: BGIPNNetflowCollector v4.6
СообщениеДобавлено: 07 апр 2009, 15:33 
Не в сети

Зарегистрирован: 06 мар 2007, 13:30
Сообщения: 457
Карма: 5
Продолжаем ставить в тест и следующий вопрос.
Коллектор в старой версии сохраняет логи в
./log/source_1/2009/MM/dd/log_hh
новый же сохраняет
./log/source_1/2009/YYYY-MM/YYYY-MM-dd/log_YYYY-MM-dd-hh.000.bgdl

Какова совместимость со старым коллектором?
Вернуться к началу
 Профиль  
 
Администратор
 Заголовок сообщения:
СообщениеДобавлено: 07 апр 2009, 16:02 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Должен брать, просто попробуйте переобработать старый час какой-нибудь и все.
Вернуться к началу
 Профиль  
 
and
 Заголовок сообщения:
СообщениеДобавлено: 10 апр 2009, 10:03 
Не в сети

Зарегистрирован: 06 мар 2007, 13:30
Сообщения: 457
Карма: 5
Администратор писал(а):
Должен брать, просто попробуйте переобработать старый час какой-нибудь и все.


Возник следующий вопрос! Как я уже говорил в старом коллекторе логи хранились в одном месте в новом стали в другом, заметил ещё одно новшество!!!! смотрим за любой день в старом коллекторе размер общих логов за день варьируется в зависимости от интенсивности у меня составляет примерно около 100 Мб в день.

В новом коллекторе создаются файлы по 5 Мб, и их минимум по 4 штуки и у меня за день вышло примерно 600 Мб. в шесть раз увеличились размеры логов, внимание вопрос: чем вызвано такое резкое увеличение размера логов?
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения:
СообщениеДобавлено: 10 апр 2009, 14:02 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
В старом формате сохранял лишь информацию с адреса, на адрес, с порта, на порт, с интерфейса, на интерфейс, кол-во байт.
В новом - весь пакет. Также для исключения блокировок, т.е. чтобы полностью использовать процессорное время, избегали синхронизаций, поэтому на каждый поток отдельный буфер.

Размер буфера записи:
datalog.chunk.size=524288
Сжатие:
datalog.compression.type=1

При запуске обработки логов создается новый лог файл, в старом сбрасывается буфер.

Можно посмотреть лог файл - если там встречаются большие блоки заполненные нулями, то можно уменьшить datalog.chunk.size.

Самый простой способ - просто установить datalog.compression.type=1
5мб за 15 минут легко сожмутся, т.е. думаю что дополнительная нагрузка на процессор будет даже не заметна, а пустые блоки при сжатии вообще почти совсем исчезнут.
Если сожмете лог файл zip-ом с самым быстрым сжатием - примерно таким размером должен быть лог файл при работающем сжатии.
Вернуться к началу
 Профиль  
 
mazay-d
 Заголовок сообщения:
СообщениеДобавлено: 10 апр 2009, 20:08 
Не в сети

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10
Что за ошибку сыплет в консоль при остановки коллектора?

Код:
[root@bill BGIPNNetflowCollector]# ./netflow.sh stop
log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup).
log4j:WARN Please initialize the log4j system properly.
Вернуться к началу
 Профиль  
 
tiffolk
 Заголовок сообщения:
СообщениеДобавлено: 11 апр 2009, 03:59 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
mazay-d писал(а):
Что за ошибку сыплет в консоль при остановки коллектора?

Код:
[root@bill BGIPNNetflowCollector]# ./netflow.sh stop
log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup).
log4j:WARN Please initialize the log4j system properly.


Это не ошибка. В следующем билде уберут. Уже спрашивал я.
Вернуться к началу
 Профиль  
 
Jimson
 Заголовок сообщения:
СообщениеДобавлено: 13 апр 2009, 12:49 
Не в сети

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27
Amir писал(а):
В новом - весь пакет. Также для исключения блокировок, т.е. чтобы полностью использовать процессорное время, избегали синхронизаций, поэтому на каждый поток отдельный буфер.

иначе говоря в чем разница между новым форматом файлов и форматом файлов flow-tools? может сделать связку без дополнительных преобразований, сложно новому коллектору "кушать" файлы flow-tools?
Вернуться к началу
 Профиль  
 
Администратор
 Заголовок сообщения:
СообщениеДобавлено: 13 апр 2009, 12:59 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Может он "кушать" эти файлы в чистом виде, под то и делалось..
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения:
СообщениеДобавлено: 13 апр 2009, 18:40 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Выдержка из доки, которая в данный момент еще дорабатывается:
Цитата:
Далее необходимо настроить связку с flow-tools. Коллектор поддерживает формат логов flow-tools, с логами netflow версий 5 и 7, поэтому будет достаточно настроить сбор логов flow-tools в директорию логов источника. nesting_level должен быть -3 для совместимости с системой хранения логов коллектора.

Пример: создаем perl файл rotate.pl, он будет обрабатывать появление нового лог-файла flow-tools
Код:
#!/usr/bin/perl

my $name = $ARGV[0];
my $loader='/usr/local/BGIPNNetflowCollector/netflow.sh';

if ( $name =~ /source_(\d+)\/.*\.(\d\d\d\d)-(\d\d)-(\d\d)\.(\d\d)/ )
{
    my $source = $1;
    my $logYY = $2;
    my $logMM = $3;
    my $logDD = $4;
    my $logHH = $5;

    `$loader isload $source $logYY-$logMM-$logDD-$logHH`;
}
else
{
    die "unknown format $name";
}

Далее устанавливаем в автозапуск:
flow-capture -N -3 -w /usr/bill/log/source_1 -n 95 -R rotate.pl 0/0/2003
Вернуться к началу
 Профиль  
 
Jimson
 Заголовок сообщения:
СообщениеДобавлено: 14 апр 2009, 03:45 
Не в сети

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27
полезное упрощение связки netflow и коллектора bgbilling, учитывая что большая часть крайне полезного софта по постобработке netflow работает с файлами формата flow-tools
моя довольный, спасибо за фичу и консультацию )
Вернуться к началу
 Профиль  
 
and
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 13:30 
Не в сети

Зарегистрирован: 06 мар 2007, 13:30
Сообщения: 457
Карма: 5
Администратор писал(а):
Должен брать, просто попробуйте переобработать старый час какой-нибудь и все.

Сейчас попробовал переработать старые логи! И как результат в отчётах договоров трафики все понулям!
Вернуться к началу
 Профиль  
 
and
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 17:35 
Не в сети

Зарегистрирован: 06 мар 2007, 13:30
Сообщения: 457
Карма: 5
up
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 17:58 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Билд последний коллектора?
netflow save что дает по старым логам?
Вернуться к началу
 Профиль  
 
and
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 18:15 
Не в сети

Зарегистрирован: 06 мар 2007, 13:30
Сообщения: 457
Карма: 5
Amir писал(а):
Билд последний коллектора?
netflow save что дает по старым логам?


Traffic collector for IPN v 4.6 build 147 from 06.04.2009 14:41:00
Код:
./netflow.sh save 1 2009-03-31-16 1
Saving started..

и в файле 1 статистика как в почту отсылается!
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 18:16 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
А в получившемся файлике нормально все, расхождений нет?
Вернуться к началу
 Профиль  
 
and
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 18:29 
Не в сети

Зарегистрирован: 06 мар 2007, 13:30
Сообщения: 457
Карма: 5
Amir писал(а):
А в получившемся файлике нормально все, расхождений нет?

Нашёл проблему!
Неудобно предоставлена смена привязок услуг! То есть с апреля месяца у клиента поменялась схема привязки! При пересчёте за март месяц он обработал по привязке которая изменилась! А вот старая привязка просто пропала!
То есть для реализации смены привязки услуг надо закрывать период действия IP-адреса! Помоему очень даже неудобно!

Спасибо за ответы!
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 16 ] 

Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.052s | 48 Queries | GZIP : On ]