BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 22 июн 2025, 20:16

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 8 ] 
Автор Сообщение
 Заголовок сообщения: Старнности BGNetflowCollector
СообщениеДобавлено: 01 ноя 2009, 18:36 
По порядку:
1) ОС - Убунту
2) Стоит НетфлайКоллектор. Биллинг 4.6
3) Фаил netflow_ipn.properties

Код:
#порт управления коллектором
port.admin=2003
#порт для приема NetFlow потока
#номер порта
collector.capture.flow.port.1=2004
#тип потока - NetFlow/sFlow
collector.capture.flow.port.1.type=netflow
#коды источников, данные с которых будут приниматься на этот порт
collector.capture.flow.port.1.sources=1
#количество потоков - обработчиков
collector.capture.flow.port.1.thread.count=10
#код модуля IPN
collector.mid=1
#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCo$
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100
#где будут храниться логи (папка должна существовать и должны быть полные права на неё для процесса коллектора)
log.dir=/usr/local/BGIPNNetflowCollector/bill/
load=1
process=1
#частота генерации заданий на обработку логов в минутах
#если опция не указана - генерация происходит только на границе часа
generate.minutes=30


Вроде после запуска не огрызается.
Код:
root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh status
Traffic collector for IPN v 4.6 build 221 from 01.09.2009 12:37:34
Started: 01.11.2009 19:14:33    Uptime: 0 d 00:01:13
Memory total: 5 177 344; max: 266 403 840; free: 3 137 080
FlowListener: queue_size: 0; threads_active: 0; largest: 0; core: 10; pool_size: 0; recv_socket_buf_size: 112 640; recv_buf_size: 8 388 608; packets: 0
Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@1617189 [files: 0]


Пробую сохраниь
Код:
root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh save
java.net.SocketTimeoutException: Receive timed out
        at java.net.PlainDatagramSocketImpl.receive0(Native Method)
        at java.net.PlainDatagramSocketImpl.receive(PlainDatagramSocketImpl.java:136)
        at java.net.DatagramSocket.receive(DatagramSocket.java:712)
        at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
        at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)

Хотя видно же что пакеты прибывают.. А в фаил сохранять, даже по истечении часа - отказывается.
Уже перерыл все что мог - не понимаю что не так..


Вернуться к началу
  
 
 Заголовок сообщения: Re: Старнности BGNetflowCollector
СообщениеДобавлено: 01 ноя 2009, 19:01 
Не в сети

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27
я вообще не понимаю зачем собирать netflow коллектором на яве, разве не проще поставить простейший flow-tools которые справится с этой задачей лучше и в дополнение даст кучу полезного софта для анализа сырых данных и репортов?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Старнности BGNetflowCollector
СообщениеДобавлено: 02 ноя 2009, 17:12 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Вы команду save вызываете без набора аргументов. Вызовите netflow.sh и посмотрите формат.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Старнности BGNetflowCollector
СообщениеДобавлено: 02 ноя 2009, 19:05 
Да даже если все как пложенно забиваю - ЛОГ ПУСТОЙ!!! И вообще, по истечении часа - не создается.


Вернуться к началу
  
 
 Заголовок сообщения: Re: Старнности BGNetflowCollector
СообщениеДобавлено: 03 ноя 2009, 12:12 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Цитата:
Хотя видно же что пакеты прибывают.. А в фаил сохранять, даже по истечении часа - отказывается.

А куда они прибывают-то? В бинарный файлик или на порт? Покажите как точно вызываете команду save.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Старнности BGNetflowCollector
СообщениеДобавлено: 05 ноя 2009, 13:34 
Код:
root@Internet-server:/usr/local/BGIPNNetflowCollector# ./netflow.sh status      Traffic collector for IPN v 4.6 build 221 from 01.09.2009 12:37:34
Started: 05.11.2009 10:19:05    Uptime: 0 d 02:19:39
Memory total: 5 177 344; max: 266 403 840; free: 2 268 840
FlowListener: queue_size: 0; threads_active: 0; largest: 10; core: 10; pool_size: 10; recv_socket_buf_size: 112 640; recv_buf_size: 8 388 608; packets: 305
Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@12eda6f [files: 0]

Наглядно видно что принято packets: 305 - пакетов с порта 2004, что кстати, подтверждает и команда tcpdumt
Код:
root@Internet-server:/usr/local/BGIPNNetflowCollector# tcpdump -i eth1 port 2004
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth1, link-type EN10MB (Ethernet), capture size 96 bytes
14:15:22.889800 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216
14:15:28.295662 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 408
14:15:42.709293 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216
14:15:45.411974 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 312
14:15:57.123370 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 120
14:15:58.925225 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 408
14:16:01.639843 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 216
14:16:02.540727 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 312
14:16:05.243472 IP 192.168.0.2.64174 > Internet-server.local.2004: UDP, length 792

В дирректории log (логи запуска )
Код:
root@Internet-server:/usr/local/BGIPNNetflowCollector/log# ls -l
итого 3836
-rw-r--r-- 1 root root    6962 2009-11-05 14:02 collector.log
-rw-r--r-- 1 root root 1434807 2009-11-05 14:17 dataloader.log
-rw-r--r-- 1 root root  487934 2009-11-05 14:17 detail.log
-rw-r--r-- 1 root root 1966572 2009-11-05 14:17 error.log
-rw-r--r-- 1 root root      80 2009-11-05 14:00 generator.log
-rw-r--r-- 1 root root     228 2009-11-05 14:16 loader.log
-rw-r--r-- 1 root root       0 2009-11-05 14:00 netflow.out

Дальше... В каждом из фаилов:
Код:
GNU nano 2.0.7                  Файл: collector.log

11-05/14:20:36  INFO [main] DefaultServerSetup - Init DB connection pools
11-05/14:20:37  INFO [main] DefaultServerSetup - Init trash pools..
11-05/14:20:37  INFO [main] Collector - Starting flow collector for IPN...
11-05/14:20:37  INFO [main] Collector - Load => true; process => true
11-05/14:20:37  INFO [main] collector - Reload source list [types: netflow,sflow; sourceIds: 1]
11-05/14:20:37  INFO [main] collector - IP: 192.168.0.1 => 1
11-05/14:20:37  INFO [main] Collector - Starting FlowListener on port 2004 [recv_buf_size=83886$
11-05/14:20:37  INFO [main] collector - Reload source list [types: netflow; sourceIds: 1]
11-05/14:20:37  INFO [main] collector - IP: 192.168.0.1 => 1
11-05/14:20:37  INFO [main] DatagramChannelListener - Open socket [0.0.0.0/0.0.0.0:2004]
11-05/14:20:37  INFO [main] DatagramChannelListener - ru.bitel.bgbilling.modules.ipn.collector.$
11-05/14:20:37  INFO [main] DetailMaker - Starting detail maker...
11-05/14:20:41  INFO [Thread-12] collector - Admin command: status

В остальных или пусто или ничего существенного
Код:
 GNU nano 2.0.7               Файл: netflow_ipn.properties

port.admin=2003

#код модуля IPN
collector.mid=1

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBe$
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#директория логов
log.dir=/usr/local/BGIPNNetflowCollector/bill/
load=1

process=1
sources=1

#порт
collector.capture.flow.port.1=2004
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1
#количество потоков
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#опрашиватель snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#размер блока
datalog.chunk.size=393216
#сжатие логов
#datalog.flow.compression.type=1


Фаил чуть модернизировал, но результатов это, увы, не дало..

ДИРРЕКТОРИЯ ПОД ЛОГИ КОЛЛЕКТОРА ПУСТА!!!! И ни флюш.. ни другие манипуляции не помогают. Что делаю не так - тоже понять не могу...
Команда аля ./nteflow.sh save 1 2009-11-05-14 1 (последняя 1 - название фалиа в текуще дирректории) дает
Код:
  Файл: 1

Timestamp       FromIp  FromPort        ToIp    ToPort  Bytes   FromIface       ToIface





Вернуться к началу
  
 
 Заголовок сообщения: Re: Старнности BGNetflowCollector
СообщениеДобавлено: 05 ноя 2009, 14:33 
Не в сети

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27
возможно "exporter IP" входящего netflow потока не совпадает с IP адресом указаным в конфигурации источника с ID=1
обратите внимание что в конфигурации указывается именно "exporter IP", а не адрес машины где установлен коллектор


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Старнности BGNetflowCollector
СообщениеДобавлено: 05 ноя 2009, 14:45 
Спасибо! Дали ценную мысль куда капнуть!
Решил перепроверить настройки мобуля.. Выяснилось что ID = 1, а вот адрес там был не тот с которого приходят логи
Втом т ои была загвоздка. Поправил, перезапустил сервер, коллектор.. Вроде появились папки. Буду наблюдать.


Вернуться к началу
  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.073s | 25 Queries | GZIP : On ]