| forum.bitel.ru http://forum.bitel.ru/ |
|
| Проблема обработки логов Netflow в 4.6 http://forum.bitel.ru/viewtopic.php?f=7&t=2276 |
Страница 1 из 1 |
| Автор: | mazay-d [ 05 май 2009, 13:23 ] |
| Заголовок сообщения: | Проблема обработки логов Netflow в 4.6 |
В модуле были заведены три источника, по ним все в порядке - логи обрабатываются, трафик соотносится на клиента. Добавили еще два источника - по ним в мониторе тишина (все белое). Коллектор работает в связке с flow-tools. Логи по новым источникам создаются, скриптом ротироются, в логе collector.log: Код: 05-05/10:30:00 INFO [Thread-8] generator - Add process task 2:4 05.05.2009 10 05-05/10:30:00 INFO [Thread-8] generator - Generate source data.. 05-05/10:30:00 INFO [Thread-8] collector - Admin command: isload 05-05/10:30:00 INFO [Thread-8] generator - Add process task 2:2 05.05.2009 10 05-05/10:30:00 INFO [Thread-8] generator - Generate source data.. 05-05/10:30:00 INFO [Thread-8] collector - Admin command: isload 05-05/10:30:00 INFO [Thread-8] generator - Add process task 2:1 05.05.2009 10 05-05/10:30:00 INFO [Thread-8] generator - Generate source data.. 05-05/10:30:01 INFO [Thread-8] collector - Admin command: isload 05-05/10:30:01 INFO [Thread-8] generator - Add process task 2:8 05.05.2009 10 05-05/10:30:01 INFO [Thread-8] generator - Generate source data.. 05-05/10:30:01 INFO [Thread-8] collector - Admin command: isload 05-05/10:30:01 INFO [Thread-8] generator - Add process task 2:3 05.05.2009 10 05-05/10:30:01 INFO [Thread-8] generator - Generate source data.. 05-05/10:45:00 INFO [Thread-8] collector - Admin command: isload 05-05/10:45:00 INFO [Thread-8] generator - Add process task 2:4 05.05.2009 10 05-05/10:45:00 INFO [Thread-8] generator - Generate source data.. 05-05/10:45:00 INFO [Thread-8] collector - Admin command: isload 05-05/10:45:00 INFO [Thread-8] generator - Add process task 2:3 05.05.2009 10 05-05/10:45:00 INFO [Thread-8] generator - Generate source data.. 05-05/10:45:00 INFO [Thread-8] collector - Admin command: isload 05-05/10:45:00 INFO [Thread-8] generator - Add process task 2:2 05.05.2009 10 05-05/10:45:00 INFO [Thread-8] generator - Generate source data.. 05-05/10:45:01 INFO [Thread-8] collector - Admin command: isload 05-05/10:45:01 INFO [Thread-8] generator - Add process task 2:1 05.05.2009 10 05-05/10:45:01 INFO [Thread-8] generator - Generate source data.. 05-05/10:45:01 INFO [Thread-8] collector - Admin command: isload 05-05/10:45:01 INFO [Thread-8] generator - Add process task 2:8 05.05.2009 10 05-05/10:45:01 INFO [Thread-8] generator - Generate source data.. 05-05/11:00:00 INFO [Thread-8] collector - Admin command: isload 05-05/11:00:00 INFO [Thread-8] generator - Add process task 2:4 05.05.2009 10 05-05/11:00:00 INFO [Thread-8] generator - Generate source data.. 05-05/11:00:00 INFO [Thread-8] collector - Admin command: isload 05-05/11:00:00 INFO [Thread-8] generator - Add process task 2:3 05.05.2009 10 05-05/11:00:00 INFO [Thread-8] generator - Generate source data.. 05-05/11:00:00 INFO [Thread-8] collector - Admin command: isload 05-05/11:00:00 INFO [Thread-8] generator - Add process task 2:2 05.05.2009 10 05-05/11:00:00 INFO [Thread-8] generator - Generate source data.. 05-05/11:00:01 INFO [Thread-8] collector - Admin command: isload 05-05/11:00:01 INFO [Thread-8] generator - Add process task 2:8 05.05.2009 10 05-05/11:00:01 INFO [Thread-8] generator - Generate source data.. 05-05/11:00:01 INFO [Thread-8] collector - Admin command: isload 05-05/11:00:01 INFO [Thread-8] generator - Add process task 2:1 05.05.2009 10 05-05/11:00:01 INFO [Thread-8] generator - Generate source data.. Коды новых источников 4 и 8, ранее заведенных 1,2,3. Пробовал логирование переключать в режим DEBUG, ошибок нет, информации в dataloader.log о загрузки логов по источникам 4 и 8 в биллинг нет. Вопрос: Пока нет абонентов соотнесенных с этими источниками, должны ли обрабатываться логи с этих источников и должна ли отображаться информация в "Менеджере источников" по ним? Версия коллектора Код: Traffic collector for IPN v 4.6 build 172 from 29.04.2009 11:15:00
Started: 05.05.2009 10:17:18 Uptime: 0 d 01:05:05 Memory total: 123 011 072; max: 238 616 576; free: 23 824 600 Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@5c1fe88d [files: 0] |
|
| Автор: | mazay-d [ 05 май 2009, 15:18 ] |
| Заголовок сообщения: | |
Вот она засада!!! Переменовал папку с логами в source_4 и source_8 соответственно и коллектор начал их обрабатывать..... Где вообще эта привязка к имени? |
|
| Автор: | snark [ 05 май 2009, 15:56 ] |
| Заголовок сообщения: | |
mazay-d писал(а): Где вообще эта привязка к имени? Цитата: source_код источника
у Вас source_4 - источник с кодом 4 и т.д. |
|
| Автор: | mazay-d [ 05 май 2009, 16:27 ] |
| Заголовок сообщения: | |
Настройки коллектора: Код: port.admin=2003 #код модуля IPN collector.mid=2 #опции подключения к БД db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://192.168.1.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false db.user=bill db.pswd=bgbilling db.maxActive=300 db.maxIdle=100 load=0 process=1 process.sources=1,2,3,4,5,8 #порт collector.capture.flow.port.1=2004 #тип слушателя collector.capture.flow.port.1.type=netflow #обслуживаемые на порту источники (указанного типа) collector.capture.flow.port.1.sources=1,2,3,4,5,8 #количество потоков collector.capture.flow.port.1.thread.count=10 # #collector.capture.flow.port.2=2005 #collector.capture.flow.port.2.type=sflow #collector.capture.flow.port.2.sources=0 #collector.capture.flow.port.2.thread.count=10 #опрашиватель snmp #collector.capture.snmp=1 #collector.capture.snmp.sources=1 #размер блока datalog.chunk.size=524288 #сжатие логов datalog.flow.compression.type=1 log.dir=/work2/netflow Внутри /work2/netflow - соответственно: source_1 source_2 source_3 source_4 source_5 source_8 1,2,3,4,5,8 - соответствуют ID источникам Сбор с как писал выше flow-capture: Код: flow-capture -N -3 -w /work2/netflow/source_1 -n 95 -R /usr/local/BGIPNNetflowCollector/rotate.pl 0/0/2004
......... и так для каждого источника (соответственно путь, rotate.pl и порт для каждого свой). Когда вместо source_4 стояло source_r2d2 - была проблема описана выше. При выполнении ./netflow.sh save 4 2009-05-05-12 /tmp/log.txt - на выходе пусто, поменял на source_4 все заработало... |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|