forum.bitel.ru :: Просмотр темы - BGIPNNetflowCollector v4.6

Должен брать, просто попробуйте переобработать старый час какой-нибудь и все.

Что за ошибку сыплет в консоль при остановки коллектора?

Код:

[root@bill BGIPNNetflowCollector]# ./netflow.sh stop
log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup).
log4j:WARN Please initialize the log4j system properly.

В новом - весь пакет. Также для исключения блокировок, т.е. чтобы полностью использовать процессорное время, избегали синхронизаций, поэтому на каждый поток отдельный буфер.

Далее необходимо настроить связку с flow-tools. Коллектор поддерживает формат логов flow-tools, с логами netflow версий 5 и 7, поэтому будет достаточно настроить сбор логов flow-tools в директорию логов источника. nesting_level должен быть -3 для совместимости с системой хранения логов коллектора.

Пример: создаем perl файл rotate.pl, он будет обрабатывать появление нового лог-файла flow-tools

Код:

#!/usr/bin/perl

my $name = $ARGV[0];
my $loader='/usr/local/BGIPNNetflowCollector/netflow.sh';

if ( $name =~ /source_(\d+)\/.*\.(\d\d\d\d)-(\d\d)-(\d\d)\.(\d\d)/ )
{
    my $source = $1;
    my $logYY = $2;
    my $logMM = $3;
    my $logDD = $4;
    my $logHH = $5;

    `$loader isload $source $logYY-$logMM-$logDD-$logHH`;
} 
else
{
    die "unknown format $name";
}

Далее устанавливаем в автозапуск:
flow-capture -N -3 -w /usr/bill/log/source_1 -n 95 -R rotate.pl 0/0/2003

Должен брать, просто попробуйте переобработать старый час какой-нибудь и все.

Билд последний коллектора?
netflow save что дает по старым логам?

А в получившемся файлике нормально все, расхождений нет?

Автор:	and [ 07 апр 2009, 15:33 ]
Заголовок сообщения:	BGIPNNetflowCollector v4.6
Продолжаем ставить в тест и следующий вопрос. Коллектор в старой версии сохраняет логи в ./log/source_1/2009/MM/dd/log_hh новый же сохраняет ./log/source_1/2009/YYYY-MM/YYYY-MM-dd/log_YYYY-MM-dd-hh.000.bgdl Какова совместимость со старым коллектором?

Автор:	Администратор [ 07 апр 2009, 16:02 ]
Заголовок сообщения:
Должен брать, просто попробуйте переобработать старый час какой-нибудь и все.

Автор:	and [ 10 апр 2009, 10:03 ]
Заголовок сообщения:
Администратор писал(а): Должен брать, просто попробуйте переобработать старый час какой-нибудь и все. Возник следующий вопрос! Как я уже говорил в старом коллекторе логи хранились в одном месте в новом стали в другом, заметил ещё одно новшество!!!! смотрим за любой день в старом коллекторе размер общих логов за день варьируется в зависимости от интенсивности у меня составляет примерно около 100 Мб в день. В новом коллекторе создаются файлы по 5 Мб, и их минимум по 4 штуки и у меня за день вышло примерно 600 Мб. в шесть раз увеличились размеры логов, внимание вопрос: чем вызвано такое резкое увеличение размера логов?

Автор:	Amir [ 10 апр 2009, 14:02 ]
Заголовок сообщения:
В старом формате сохранял лишь информацию с адреса, на адрес, с порта, на порт, с интерфейса, на интерфейс, кол-во байт. В новом - весь пакет. Также для исключения блокировок, т.е. чтобы полностью использовать процессорное время, избегали синхронизаций, поэтому на каждый поток отдельный буфер. Размер буфера записи: datalog.chunk.size=524288 Сжатие: datalog.compression.type=1 При запуске обработки логов создается новый лог файл, в старом сбрасывается буфер. Можно посмотреть лог файл - если там встречаются большие блоки заполненные нулями, то можно уменьшить datalog.chunk.size. Самый простой способ - просто установить datalog.compression.type=1 5мб за 15 минут легко сожмутся, т.е. думаю что дополнительная нагрузка на процессор будет даже не заметна, а пустые блоки при сжатии вообще почти совсем исчезнут. Если сожмете лог файл zip-ом с самым быстрым сжатием - примерно таким размером должен быть лог файл при работающем сжатии.

Автор:	mazay-d [ 10 апр 2009, 20:08 ]
Заголовок сообщения:
Что за ошибку сыплет в консоль при остановки коллектора? Код: [root@bill BGIPNNetflowCollector]# ./netflow.sh stop log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup). log4j:WARN Please initialize the log4j system properly.

forum.bitel.ru http://forum.bitel.ru/

BGIPNNetflowCollector v4.6 http://forum.bitel.ru/viewtopic.php?f=7&t=2144	Страница 1 из 1

Автор:	tiffolk [ 11 апр 2009, 03:59 ]
Заголовок сообщения:
mazay-d писал(а): Что за ошибку сыплет в консоль при остановки коллектора? Код: [root@bill BGIPNNetflowCollector]# ./netflow.sh stop log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup). log4j:WARN Please initialize the log4j system properly. Это не ошибка. В следующем билде уберут. Уже спрашивал я.

Автор:	Jimson [ 13 апр 2009, 12:49 ]
Заголовок сообщения:
Amir писал(а): В новом - весь пакет. Также для исключения блокировок, т.е. чтобы полностью использовать процессорное время, избегали синхронизаций, поэтому на каждый поток отдельный буфер. иначе говоря в чем разница между новым форматом файлов и форматом файлов flow-tools? может сделать связку без дополнительных преобразований, сложно новому коллектору "кушать" файлы flow-tools?

Автор:	Администратор [ 13 апр 2009, 12:59 ]
Заголовок сообщения:
Может он "кушать" эти файлы в чистом виде, под то и делалось..

Автор:	Amir [ 13 апр 2009, 18:40 ]
Заголовок сообщения:
Выдержка из доки, которая в данный момент еще дорабатывается: Цитата: Далее необходимо настроить связку с flow-tools. Коллектор поддерживает формат логов flow-tools, с логами netflow версий 5 и 7, поэтому будет достаточно настроить сбор логов flow-tools в директорию логов источника. nesting_level должен быть -3 для совместимости с системой хранения логов коллектора. Пример: создаем perl файл rotate.pl, он будет обрабатывать появление нового лог-файла flow-tools Код: #!/usr/bin/perl my $name = $ARGV[0]; my $loader='/usr/local/BGIPNNetflowCollector/netflow.sh'; if ( $name =~ /source_(\d+)\/.\.(\d\d\d\d)-(\d\d)-(\d\d)\.(\d\d)/ ) { my $source = $1; my $logYY = $2; my $logMM = $3; my $logDD = $4; my $logHH = $5; `$loader isload $source $logYY-$logMM-$logDD-$logHH`; } else { die "unknown format $name"; } Далее устанавливаем в автозапуск: flow-capture -N -3 -w /usr/bill/log/source_1 -n 95 -R rotate.pl 0/0/2003*

Автор:	Jimson [ 14 апр 2009, 03:45 ]
Заголовок сообщения:
полезное упрощение связки netflow и коллектора bgbilling, учитывая что большая часть крайне полезного софта по постобработке netflow работает с файлами формата flow-tools моя довольный, спасибо за фичу и консультацию )

Автор:	and [ 05 май 2009, 13:30 ]
Заголовок сообщения:
Администратор писал(а): Должен брать, просто попробуйте переобработать старый час какой-нибудь и все. Сейчас попробовал переработать старые логи! И как результат в отчётах договоров трафики все понулям!

Автор:	and [ 05 май 2009, 17:35 ]
Заголовок сообщения:
up

Автор:	Amir [ 05 май 2009, 17:58 ]
Заголовок сообщения:
Билд последний коллектора? netflow save что дает по старым логам?

Автор:	and [ 05 май 2009, 18:15 ]
Заголовок сообщения:
Amir писал(а): Билд последний коллектора? netflow save что дает по старым логам? Traffic collector for IPN v 4.6 build 147 from 06.04.2009 14:41:00 Код: ./netflow.sh save 1 2009-03-31-16 1 Saving started.. и в файле 1 статистика как в почту отсылается!

Автор:	and [ 05 май 2009, 18:29 ]
Заголовок сообщения:
Amir писал(а): А в получившемся файлике нормально все, расхождений нет? Нашёл проблему! Неудобно предоставлена смена привязок услуг! То есть с апреля месяца у клиента поменялась схема привязки! При пересчёте за март месяц он обработал по привязке которая изменилась! А вот старая привязка просто пропала! То есть для реализации смены привязки услуг надо закрывать период действия IP-адреса! Помоему очень даже неудобно! Спасибо за ответы!

Страница 1 из 1	Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/

Автор:	Amir [ 05 май 2009, 18:16 ]
Заголовок сообщения:
А в получившемся файлике нормально все, расхождений нет?