forum.bitel.ru
http://forum.bitel.ru/

NetflowCollector обрабатывает только один источник netflow?
http://forum.bitel.ru/viewtopic.php?f=7&t=7834		 Страница 1 из 1
Автор:  mash55 [ 14 мар 2013, 12:53 ]
Заголовок сообщения:  NetflowCollector обрабатывает только один источник netflow?
Есть два источника neflow: один локальный, другой в сети. Конфиг:

Код:
# cat netflow_ipn.properties
port.admin=2003

#код модуля IPN
collector.mid=1

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false&elideSetAutoCommits=true&cachePrepStmts=true
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

mq.url=failover:(nio://127.0.0.1:61616)
mq.user=system
mq.pswd=manager

#директория логов
log.dir=null
load=1
process=1
sources=1,3

#порт
collector.capture.flow.port.1=2004
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1,3
#количество потоков
collector.capture.flow.port.1.thread.count=10


#размер блока
datalog.chunk.size=524288
#сжатие логов
datalog.flow.compression.type=1
netflow.receive.socket.buffer.size=150000

лог коллектора:
Код:
# cat collector.log
03-14/11:16:48  INFO [main] DefaultServerSetup - Binding javax.jms.ConnectionFactory[org.apache.activemq.ActiveMQConnectionFactory@1d2068d] to java:comp/env/mq/connectionFactory
03-14/11:16:49  INFO [main] DefaultServerSetup - Init DB connection pools
03-14/11:16:49  INFO [main] DefaultServerSetup - Binding JDBC pool "master" to java:comp/env/jdbc/master
03-14/11:16:50  INFO [main] DefaultServerSetup - Init trash pools..
03-14/11:16:50  INFO [main] Collector - Starting flow collector for IPN...
03-14/11:16:50  INFO [main] Collector - Load => true; process => true
03-14/11:16:50  INFO [main] collector - Reload source list [types: netflow,sflow; sourceIds: 1,3]
03-14/11:16:50  INFO [main] collector - IP: 127.0.0.1 => 1
03-14/11:16:50  INFO [main] collector - IP: 172.17.1.1 => 3
03-14/11:16:50  INFO [main] Collector - Starting FlowListener on port 2004 [recv_buf_size=8388608]
03-14/11:16:50  INFO [main] collector - Reload source list [types: netflow; sourceIds: 1,3]
03-14/11:16:50  INFO [main] collector - IP: 127.0.0.1 => 1
03-14/11:16:50  INFO [main] collector - IP: 172.17.1.1 => 3
03-14/11:16:50  INFO [main] DatagramChannelListener - Open socket [0.0.0.0/0.0.0.0:2004]
03-14/11:16:50  INFO [main] DatagramChannelListener - ru.bitel.bgbilling.modules.ipn.collector.IPNFlowListener$3 socket init ok.
03-14/11:16:50  INFO [main] DetailMaker - Starting detail maker...


netflow собирается с обоих источников, но обрабатывается только один источник. Если сделать
Код:
sources=3
collector.capture.flow.port.1.sources=1,3

То собираться netflow будет с обоих источников, а обрабатываться только №1. Если убрать sources, то обрабатываться перестанут оба источника.

Как настроить, чтобы трафик обрабатывался со всех источников?

Клиент: вер. 5.1 сборка 659 от 23.04.2012 12:43:57
os: Windows XP; java: Java HotSpot(TM) Client VM, v.1.6.0_22
ВНИМАНИЕ: Необходимо обновить таймзоны
Сервер: вер. 5.1 сборка 789 от 23.04.2012 13:55:55
os: Linux; java: Java HotSpot(TM) Client VM, v.1.6.0_24
ВНИМАНИЕ: Необходимо обновить таймзоны

card вер. 5.1 сборка 172 от 21.01.2012 01:57:32
ipn вер. 5.1 сборка 252 от 18.04.2012 18:24:50
npay вер. 5.1 сборка 206 от 28.03.2012 09:16:57
reports вер. 5.1 сборка 180 от 11.03.2012 16:46:16
trayinfo вер. 5.1 сборка 147 от 21.01.2012 01:57:54
Автор:  Phricker [ 14 мар 2013, 13:07 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
Код:
process=1
sources=1,5,6,8,9

collector.capture.flow.port.1=2004
collector.capture.flow.port.1.type=netflow
collector.capture.flow.port.1.sources=1
collector.capture.flow.port.1.thread.count=10
#
collector.capture.flow.port.2=2010
collector.capture.flow.port.2.type=netflow
collector.capture.flow.port.2.sources=5
collector.capture.flow.port.2.thread.count=10
#
collector.capture.flow.port.3=2021
collector.capture.flow.port.3.type=netflow
collector.capture.flow.port.3.sources=6
collector.capture.flow.port.3.thread.count=10
#
collector.capture.flow.port.4=2024
collector.capture.flow.port.4.type=netflow
collector.capture.flow.port.4.sources=8
collector.capture.flow.port.4.thread.count=10
#
collector.capture.flow.port.5=2028
collector.capture.flow.port.5.type=netflow
collector.capture.flow.port.5.sources=9
collector.capture.flow.port.5.thread.count=10
#
Автор:  mash55 [ 14 мар 2013, 13:17 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
пробовал слушать разные источники на разных портах, обрабатывается все равно только первый.
Автор:  mash55 [ 14 мар 2013, 23:11 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
Если это не какой-то очередной глюк, то вроде второй источник тоже начал обрабатываться, причем при не запущенном DataLoader
Код:
#ps -ax | grep DataLoader
#
Автор:  mash55 [ 14 мар 2013, 23:12 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
Код:
# cat dataloader.log
03-14/22:00:47  INFO [Thread-13] dataloader - Processing source:1 time: 2013-03-14 21:00:00.0
03-14/22:00:47  INFO [Thread-13] dataloader - Processing source:3 time: 2013-03-14 21:00:00.0
03-14/22:00:47  INFO [data-process-p-4-t-1] Setup - Load config for mid=1
03-14/22:00:47  INFO [data-process-p-4-t-2] Setup - Load config for mid=1
03-14/22:00:48  INFO [data-process-p-4-t-1] dataloader - proccess [ 14-03-2013 21:00:00; mid => 1; param => 1 ]  Bean create => 165 Processed lines => 42; inserts => 10; errors => 0; time => 1719 ms.
03-14/22:00:49  INFO [data-process-p-4-t-2] dataloader - proccess [ 14-03-2013 21:00:00; mid => 1; param => 3 ]  Bean create => 148 Processed lines => 161637; inserts => 8; errors => 0; time => 2448 ms.
03-14/23:00:49  INFO [Thread-13] dataloader - Processing source:1 time: 2013-03-14 22:00:00.0
03-14/23:00:49  INFO [Thread-13] dataloader - Processing source:3 time: 2013-03-14 22:00:00.0
03-14/23:00:51  INFO [data-process-p-4-t-3] dataloader - proccess [ 14-03-2013 22:00:00; mid => 1; param => 1 ]  Bean create => 40 Processed lines => 12; inserts => 4; errors => 0; time => 1681 ms.
03-14/23:00:52  INFO [data-process-p-4-t-4] dataloader - proccess [ 14-03-2013 22:00:00; mid => 1; param => 3 ]  Bean create => 54 Processed lines => 113537; inserts => 7; errors => 0; time => 2255 ms.
Автор:  stark [ 15 мар 2013, 16:02 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
mash55 писал(а):
Если это не какой-то очередной глюк, то вроде второй источник тоже начал обрабатываться, причем при не запущенном DataLoader
Код:
#ps -ax | grep DataLoader
#

При чем тут DataLoader? IPN обрабатывается коллектором . DataLoader используется для модуля phone
Автор:  mash55 [ 15 мар 2013, 16:40 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
stark писал(а):
При чем тут DataLoader? IPN обрабатывается коллектором . DataLoader используется для модуля phone

Упс, а ведь точно. Просто смутило, что лог называется dataloader.log.
Автор:  stark [ 15 мар 2013, 18:59 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
mash55 писал(а):
stark писал(а):
При чем тут DataLoader? IPN обрабатывается коллектором . DataLoader используется для модуля phone

Упс, а ведь точно. Просто смутило, что лог называется dataloader.log.


лог DataLoader-а называется dataloader.log
Автор:  mash55 [ 15 мар 2013, 19:46 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
Тогда почему dataloader.log наполняется записями, относящимися к IPN, если DataLoader не запущен.
(интерес не праздный, я хотел в wiki статью дописать http://wiki.bgbilling.ru/index.php/%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0_BGIPNNetflowCollector )
Автор:  stark [ 19 мар 2013, 19:00 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
mash55 писал(а):
Тогда почему dataloader.log наполняется записями, относящимися к IPN, если DataLoader не запущен.
(интерес не праздный, я хотел в wiki статью дописать http://wiki.bgbilling.ru/index.php/%D0%9D%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%B0_BGIPNNetflowCollector )


какими конкретно записями ?
Автор:  mash55 [ 20 мар 2013, 20:31 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
stark писал(а):
какими конкретно записями ?


Код:
# cat dataloader.log
03-14/22:00:47  INFO [Thread-13] dataloader - Processing source:1 time: 2013-03-14 21:00:00.0
03-14/22:00:47  INFO [Thread-13] dataloader - Processing source:3 time: 2013-03-14 21:00:00.0
03-14/22:00:47  INFO [data-process-p-4-t-1] Setup - Load config for mid=1
03-14/22:00:47  INFO [data-process-p-4-t-2] Setup - Load config for mid=1
03-14/22:00:48  INFO [data-process-p-4-t-1] dataloader - proccess [ 14-03-2013 21:00:00; mid => 1; param => 1 ]  Bean create => 165 Processed lines => 42; inserts => 10; errors => 0; time => 1719 ms.
03-14/22:00:49  INFO [data-process-p-4-t-2] dataloader - proccess [ 14-03-2013 21:00:00; mid => 1; param => 3 ]  Bean create => 148 Processed lines => 161637; inserts => 8; errors => 0; time => 2448 ms.
03-14/23:00:49  INFO [Thread-13] dataloader - Processing source:1 time: 2013-03-14 22:00:00.0
03-14/23:00:49  INFO [Thread-13] dataloader - Processing source:3 time: 2013-03-14 22:00:00.0
03-14/23:00:51  INFO [data-process-p-4-t-3] dataloader - proccess [ 14-03-2013 22:00:00; mid => 1; param => 1 ]  Bean create => 40 Processed lines => 12; inserts => 4; errors => 0; time => 1681 ms.
03-14/23:00:52  INFO [data-process-p-4-t-4] dataloader - proccess [ 14-03-2013 22:00:00; mid => 1; param => 3 ]  Bean create => 54 Processed lines => 113537; inserts => 7; errors => 0; time => 2255 ms.
Автор:  stark [ 25 мар 2013, 19:56 ]
Заголовок сообщения:  Re: NetflowCollector обрабатывает только один источник netfl
mash55 писал(а):
stark писал(а):
какими конкретно записями ?


Код:
# cat dataloader.log
03-14/22:00:47  INFO [Thread-13] dataloader - Processing source:1 time: 2013-03-14 21:00:00.0
03-14/22:00:47  INFO [Thread-13] dataloader - Processing source:3 time: 2013-03-14 21:00:00.0
03-14/22:00:47  INFO [data-process-p-4-t-1] Setup - Load config for mid=1
03-14/22:00:47  INFO [data-process-p-4-t-2] Setup - Load config for mid=1
03-14/22:00:48  INFO [data-process-p-4-t-1] dataloader - proccess [ 14-03-2013 21:00:00; mid => 1; param => 1 ]  Bean create => 165 Processed lines => 42; inserts => 10; errors => 0; time => 1719 ms.
03-14/22:00:49  INFO [data-process-p-4-t-2] dataloader - proccess [ 14-03-2013 21:00:00; mid => 1; param => 3 ]  Bean create => 148 Processed lines => 161637; inserts => 8; errors => 0; time => 2448 ms.
03-14/23:00:49  INFO [Thread-13] dataloader - Processing source:1 time: 2013-03-14 22:00:00.0
03-14/23:00:49  INFO [Thread-13] dataloader - Processing source:3 time: 2013-03-14 22:00:00.0
03-14/23:00:51  INFO [data-process-p-4-t-3] dataloader - proccess [ 14-03-2013 22:00:00; mid => 1; param => 1 ]  Bean create => 40 Processed lines => 12; inserts => 4; errors => 0; time => 1681 ms.
03-14/23:00:52  INFO [data-process-p-4-t-4] dataloader - proccess [ 14-03-2013 22:00:00; mid => 1; param => 3 ]  Bean create => 54 Processed lines => 113537; inserts => 7; errors => 0; time => 2255 ms.


А ну да правильно . Часть информации из коллектора, относящаяся к загрузке логов пишется в файл daloader.log . Но он не имеет никакого отношения к приложению DataLoader, так как находятся они в разных папках(в общем случае вообще на разных машинах) . Просто имя одного файлов из логов совпадает и все .
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/