forum.bitel.ru :: Просмотр темы - Старнности BGNetflowCollector

#порт управления коллектором
port.admin=2003
#порт для приема NetFlow потока
#номер порта
collector.capture.flow.port.1=2004
#тип потока - NetFlow/sFlow
collector.capture.flow.port.1.type=netflow
#коды источников, данные с которых будут приниматься на этот порт
collector.capture.flow.port.1.sources=1
#количество потоков - обработчиков
collector.capture.flow.port.1.thread.count=10
#код модуля IPN
collector.mid=1
#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCo$
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100
#где будут храниться логи (папка должна существовать и должны быть полные права на неё для процесса коллектора)
log.dir=/usr/local/BGIPNNetflowCollector/bill/
load=1
process=1
#частота генерации заданий на обработку логов в минутах
#если опция не указана - генерация происходит только на границе часа
generate.minutes=30

root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh status
Traffic collector for IPN v 4.6 build 221 from 01.09.2009 12:37:34
Started: 01.11.2009 19:14:33 Uptime: 0 d 00:01:13
Memory total: 5 177 344; max: 266 403 840; free: 3 137 080
FlowListener: queue_size: 0; threads_active: 0; largest: 0; core: 10; pool_size: 0; recv_socket_buf_size: 112 640; recv_buf_size: 8 388 608; packets: 0
Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@1617189 [files: 0]

root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh save
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(PlainDatagramSocketImpl.java:136)
at java.net.DatagramSocket.receive(DatagramSocket.java:712)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)

root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh status Traffic collector for IPN v 4.6 build 221 from 01.09.2009 12:37:34
Started: 05.11.2009 10:19:05 Uptime: 0 d 02:19:39
Memory total: 5 177 344; max: 266 403 840; free: 2 268 840
FlowListener: queue_size: 0; threads_active: 0; largest: 10; core: 10; pool_size: 10; recv_socket_buf_size: 112 640; recv_buf_size: 8 388 608; packets: 305
Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@12eda6f [files: 0]

root@Internet-server:/usr/local/BGIPNNetflowCollector# tcpdump -i eth1 port 2004
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth1, link-type EN10MB (Ethernet), capture size 96 bytes
14:15:22.889800 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216
14:15:28.295662 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 408
14:15:42.709293 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216
14:15:45.411974 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 312
14:15:57.123370 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 120
14:15:58.925225 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 408
14:16:01.639843 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216
14:16:02.540727 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 312
14:16:05.243472 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 792

root@Internet-server:/usr/local/BGIPNNetflowCollector/log# ls -l
итого 3836
-rw-r--r-- 1 root root 6962 2009-11-05 14:02 collector.log
-rw-r--r-- 1 root root 1434807 2009-11-05 14:17 dataloader.log
-rw-r--r-- 1 root root 487934 2009-11-05 14:17 detail.log
-rw-r--r-- 1 root root 1966572 2009-11-05 14:17 error.log
-rw-r--r-- 1 root root 80 2009-11-05 14:00 generator.log
-rw-r--r-- 1 root root 228 2009-11-05 14:16 loader.log
-rw-r--r-- 1 root root 0 2009-11-05 14:00 netflow.out

GNU nano 2.0.7 Файл: collector.log

11-05/14:20:36 INFO [main] DefaultServerSetup - Init DB connection pools
11-05/14:20:37 INFO [main] DefaultServerSetup - Init trash pools..
11-05/14:20:37 INFO [main] Collector - Starting flow collector for IPN...
11-05/14:20:37 INFO [main] Collector - Load => true; process => true
11-05/14:20:37 INFO [main] collector - Reload source list [types: netflow,sflow; sourceIds: 1]
11-05/14:20:37 INFO [main] collector - IP: 192.168.0.1 => 1
11-05/14:20:37 INFO [main] Collector - Starting FlowListener on port 2004 [recv_buf_size=83886$
11-05/14:20:37 INFO [main] collector - Reload source list [types: netflow; sourceIds: 1]
11-05/14:20:37 INFO [main] collector - IP: 192.168.0.1 => 1
11-05/14:20:37 INFO [main] DatagramChannelListener - Open socket [0.0.0.0/0.0.0.0:2004]
11-05/14:20:37 INFO [main] DatagramChannelListener - ru.bitel.bgbilling.modules.ipn.collector.$
11-05/14:20:37 INFO [main] DetailMaker - Starting detail maker...
11-05/14:20:41 INFO [Thread-12] collector - Admin command: status

GNU nano 2.0.7 Файл: netflow_ipn.properties

port.admin=2003

#код модуля IPN
collector.mid=1

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBe$
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#директория логов
log.dir=/usr/local/BGIPNNetflowCollector/bill/
load=1

process=1
sources=1

#порт
collector.capture.flow.port.1=2004
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1
#количество потоков
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#опрашиватель snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#размер блока
datalog.chunk.size=393216
#сжатие логов
#datalog.flow.compression.type=1

Файл: 1

Timestamp FromIp FromPort ToIp ToPort Bytes FromIface ToIface

Автор:	Kodo [ 01 ноя 2009, 18:36 ]
Заголовок сообщения:	Старнности BGNetflowCollector
По порядку: 1) ОС - Убунту 2) Стоит НетфлайКоллектор. Биллинг 4.6 3) Фаил netflow_ipn.properties Код: #порт управления коллектором port.admin=2003 #порт для приема NetFlow потока #номер порта collector.capture.flow.port.1=2004 #тип потока - NetFlow/sFlow collector.capture.flow.port.1.type=netflow #коды источников, данные с которых будут приниматься на этот порт collector.capture.flow.port.1.sources=1 #количество потоков - обработчиков collector.capture.flow.port.1.thread.count=10 #код модуля IPN collector.mid=1 #опции подключения к БД db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCo$ db.user=bill db.pswd=bgbilling db.maxActive=300 db.maxIdle=100 #где будут храниться логи (папка должна существовать и должны быть полные права на неё для процесса коллектора) log.dir=/usr/local/BGIPNNetflowCollector/bill/ load=1 process=1 #частота генерации заданий на обработку логов в минутах #если опция не указана - генерация происходит только на границе часа generate.minutes=30 Вроде после запуска не огрызается. Код: root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh status Traffic collector for IPN v 4.6 build 221 from 01.09.2009 12:37:34 Started: 01.11.2009 19:14:33 Uptime: 0 d 00:01:13 Memory total: 5 177 344; max: 266 403 840; free: 3 137 080 FlowListener: queue_size: 0; threads_active: 0; largest: 0; core: 10; pool_size: 0; recv_socket_buf_size: 112 640; recv_buf_size: 8 388 608; packets: 0 Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@1617189 [files: 0] Пробую сохраниь Код: root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh save java.net.SocketTimeoutException: Receive timed out at java.net.PlainDatagramSocketImpl.receive0(Native Method) at java.net.PlainDatagramSocketImpl.receive(PlainDatagramSocketImpl.java:136) at java.net.DatagramSocket.receive(DatagramSocket.java:712) at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282) at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243) Хотя видно же что пакеты прибывают.. А в фаил сохранять, даже по истечении часа - отказывается. Уже перерыл все что мог - не понимаю что не так..

Автор:	Jimson [ 01 ноя 2009, 19:01 ]
Заголовок сообщения:	Re: Старнности BGNetflowCollector
я вообще не понимаю зачем собирать netflow коллектором на яве, разве не проще поставить простейший flow-tools которые справится с этой задачей лучше и в дополнение даст кучу полезного софта для анализа сырых данных и репортов?

Автор:	Администратор [ 02 ноя 2009, 17:12 ]
Заголовок сообщения:	Re: Старнности BGNetflowCollector
Вы команду save вызываете без набора аргументов. Вызовите netflow.sh и посмотрите формат.

Автор:	Kodo [ 02 ноя 2009, 19:05 ]
Заголовок сообщения:	Re: Старнности BGNetflowCollector
Да даже если все как пложенно забиваю - ЛОГ ПУСТОЙ!!! И вообще, по истечении часа - не создается.

Автор:	Администратор [ 03 ноя 2009, 12:12 ]
Заголовок сообщения:	Re: Старнности BGNetflowCollector
Цитата: Хотя видно же что пакеты прибывают.. А в фаил сохранять, даже по истечении часа - отказывается. А куда они прибывают-то? В бинарный файлик или на порт? Покажите как точно вызываете команду save.

forum.bitel.ru http://forum.bitel.ru/

Старнности BGNetflowCollector http://forum.bitel.ru/viewtopic.php?f=7&t=3106	Страница 1 из 1

Автор:	Kodo [ 05 ноя 2009, 13:34 ]
Заголовок сообщения:	Re: Старнности BGNetflowCollector
Код: root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh status Traffic collector for IPN v 4.6 build 221 from 01.09.2009 12:37:34 Started: 05.11.2009 10:19:05 Uptime: 0 d 02:19:39 Memory total: 5 177 344; max: 266 403 840; free: 2 268 840 FlowListener: queue_size: 0; threads_active: 0; largest: 10; core: 10; pool_size: 10; recv_socket_buf_size: 112 640; recv_buf_size: 8 388 608; packets: 305 Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@12eda6f [files: 0] Наглядно видно что принято packets: 305 - пакетов с порта 2004, что кстати, подтверждает и команда tcpdumt Код: root@Internet-server:/usr/local/BGIPNNetflowCollector# tcpdump -i eth1 port 2004 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on eth1, link-type EN10MB (Ethernet), capture size 96 bytes 14:15:22.889800 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216 14:15:28.295662 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 408 14:15:42.709293 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216 14:15:45.411974 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 312 14:15:57.123370 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 120 14:15:58.925225 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 408 14:16:01.639843 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216 14:16:02.540727 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 312 14:16:05.243472 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 792 В дирректории log (логи запуска ) Код: root@Internet-server:/usr/local/BGIPNNetflowCollector/log# ls -l итого 3836 -rw-r--r-- 1 root root 6962 2009-11-05 14:02 collector.log -rw-r--r-- 1 root root 1434807 2009-11-05 14:17 dataloader.log -rw-r--r-- 1 root root 487934 2009-11-05 14:17 detail.log -rw-r--r-- 1 root root 1966572 2009-11-05 14:17 error.log -rw-r--r-- 1 root root 80 2009-11-05 14:00 generator.log -rw-r--r-- 1 root root 228 2009-11-05 14:16 loader.log -rw-r--r-- 1 root root 0 2009-11-05 14:00 netflow.out Дальше... В каждом из фаилов: Код: GNU nano 2.0.7 Файл: collector.log 11-05/14:20:36 INFO [main] DefaultServerSetup - Init DB connection pools 11-05/14:20:37 INFO [main] DefaultServerSetup - Init trash pools.. 11-05/14:20:37 INFO [main] Collector - Starting flow collector for IPN... 11-05/14:20:37 INFO [main] Collector - Load => true; process => true 11-05/14:20:37 INFO [main] collector - Reload source list [types: netflow,sflow; sourceIds: 1] 11-05/14:20:37 INFO [main] collector - IP: 192.168.0.1 => 1 11-05/14:20:37 INFO [main] Collector - Starting FlowListener on port 2004 [recv_buf_size=83886$ 11-05/14:20:37 INFO [main] collector - Reload source list [types: netflow; sourceIds: 1] 11-05/14:20:37 INFO [main] collector - IP: 192.168.0.1 => 1 11-05/14:20:37 INFO [main] DatagramChannelListener - Open socket [0.0.0.0/0.0.0.0:2004] 11-05/14:20:37 INFO [main] DatagramChannelListener - ru.bitel.bgbilling.modules.ipn.collector.$ 11-05/14:20:37 INFO [main] DetailMaker - Starting detail maker... 11-05/14:20:41 INFO [Thread-12] collector - Admin command: status В остальных или пусто или ничего существенного Код: GNU nano 2.0.7 Файл: netflow_ipn.properties port.admin=2003 #код модуля IPN collector.mid=1 #опции подключения к БД db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBe$ db.user=bill db.pswd=bgbilling db.maxActive=300 db.maxIdle=100 #директория логов log.dir=/usr/local/BGIPNNetflowCollector/bill/ load=1 process=1 sources=1 #порт collector.capture.flow.port.1=2004 #тип слушателя collector.capture.flow.port.1.type=netflow #обслуживаемые на порту источники (указанного типа) collector.capture.flow.port.1.sources=1 #количество потоков collector.capture.flow.port.1.thread.count=10 # #collector.capture.flow.port.2=2005 #collector.capture.flow.port.2.type=sflow #collector.capture.flow.port.2.sources= #collector.capture.flow.port.2.thread.count=10 #опрашиватель snmp #collector.capture.snmp=1 #collector.capture.snmp.sources=1 #размер блока datalog.chunk.size=393216 #сжатие логов #datalog.flow.compression.type=1 Фаил чуть модернизировал, но результатов это, увы, не дало.. ДИРРЕКТОРИЯ ПОД ЛОГИ КОЛЛЕКТОРА ПУСТА!!!! И ни флюш.. ни другие манипуляции не помогают. Что делаю не так - тоже понять не могу... Команда аля ./nteflow.sh save 1 2009-11-05-14 1 (последняя 1 - название фалиа в текуще дирректории) дает Код: Файл: 1 Timestamp FromIp FromPort ToIp ToPort Bytes FromIface ToIface

Автор:	Jimson [ 05 ноя 2009, 14:33 ]
Заголовок сообщения:	Re: Старнности BGNetflowCollector
возможно "exporter IP" входящего netflow потока не совпадает с IP адресом указаным в конфигурации источника с ID=1 обратите внимание что в конфигурации указывается именно "exporter IP", а не адрес машины где установлен коллектор

Автор:	Kodo [ 05 ноя 2009, 14:45 ]
Заголовок сообщения:	Re: Старнности BGNetflowCollector
Спасибо! Дали ценную мысль куда капнуть! Решил перепроверить настройки мобуля.. Выяснилось что ID = 1, а вот адрес там был не тот с которого приходят логи Втом т ои была загвоздка. Поправил, перезапустил сервер, коллектор.. Вроде появились папки. Буду наблюдать.

Страница 1 из 1	Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/