forum.bitel.ru
http://forum.bitel.ru/

Netflow ЧАСТЬ часовых логов нулевые
http://forum.bitel.ru/viewtopic.php?f=7&t=300		 Страница 1 из 1
Автор:  Anton [ 17 июл 2007, 17:24 ]
Заголовок сообщения:  Netflow ЧАСТЬ часовых логов нулевые
в течении дня периодически создаются нулевые логи Netflow для модуля IPN, хотя в данные часы также наблюдается сетевая активность клиентов.
Допустим лог за 15 часов с данными, лог за 16 часов нулевой, затем за 17 с данными.
Запись из файла dataloader.log
INFO 17.07.2007 17:00:48 Processing source:1 time: 2007-07-17 16:00:00.0
INFO 17.07.2007 17:00:48 proccess [ 17-07-2007 16:00:00; mid => 2; param => 1 ] Bean create => 2 Processed lines => 0; ins
erts => 0; errors => 0; time => 2 ms.
Автор:  SPY [ 18 июл 2007, 11:21 ]
Заголовок сообщения: 
На сколько узлов у Вас экспортируются данные netflow? Какая загрузка роутера? Какая модель?
Автор:  Администратор [ 18 июл 2007, 12:34 ]
Заголовок сообщения: 
А в netflow.log на это время потоки падают?
Автор:  Anton [ 18 июл 2007, 13:34 ]
Заголовок сообщения: 
1.Netflow экспортируется на один узел, подключено всего 3 договора, в качестве роутера используется cisco 2811.
2.На это время потоки не падают.
Версия биллинга 4.1
Автор:  lacost [ 18 июл 2007, 15:44 ]
Заголовок сообщения: 
у меня были аналогичные проблемы...

я использую в настоящее время flow-tools и экспорт в бгбиллинг-формат.

Так получается надежней. всегда можно проверить промежуточный лог с flow-tools
Автор:  ILYA-5 [ 18 июл 2007, 18:28 ]
Заголовок сообщения: 
Разработчики пожалуйста откликнитесь. Биллинг находится в рабочей эксплуатации и мы хотим докупить лицензий на IPN. Но данная проблема заставила нас приостановиться.

Конфиг Нэтфлоу кллектора:
port.admin=2003
port.netflow=2004

collector.mid=2
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100
#generate.minutes=30
netflow.thread.count=10

log.dir=/usr/local/BGBillingServer/BGIPNNetflowCollector/log

sources=1
load=1
process=1


Netflow.log показывает что потоки идут, в то же время log_file остается пустым. После перезапуска netflow.sh проблема решается, но не надолго и через некоторое время опять появляются пустые log_file

Источник как уже писал Anton один - Cisco 2811. загрузка не более 1%.
Автор:  ILYA-5 [ 18 июл 2007, 22:59 ]
Заголовок сообщения: 
Вот опять почему-то пропали логи за 20-ый час

DEBUG 18.07.2007 20:00:40 Ignoring: FROM_IFACE: 2; FROM_IP: 90.189.148.192; FROM_PORT: 62366; TO_IFACE: 0; TO_IP: 90.189.129.65; TO_PORT: 1
37
DEBUG 18.07.2007 20:00:40 Ignoring: FROM_IFACE: 2; FROM_IP: 194.67.23.7; FROM_PORT: 80; TO_IFACE: 4; TO_IP: 90.189.129.6; TO_PORT: 2604
DEBUG 18.07.2007 20:00:40 Ignoring: FROM_IFACE: 2; FROM_IP: 91.192.149.2; FROM_PORT: 80; TO_IFACE: 4; TO_IP: 90.189.129.6; TO_PORT: 2712
DEBUG 18.07.2007 20:00:40 Ignoring: FROM_IFACE: 2; FROM_IP: 194.67.23.108; FROM_PORT: 80; TO_IFACE: 4; TO_IP: 90.189.129.6; TO_PORT: 2590
INFO 18.07.2007 20:00:40 proccess [ 18-07-2007 19:00:00; mid => 2; param => 1 ] Bean create => 2 Processed lines => 1025; inserts => 7; e
rrors => 0; time => 29 ms.
INFO 18.07.2007 21:00:40 Processing source:1 time: 2007-07-18 20:00:00.0
INFO 18.07.2007 21:00:40 proccess [ 18-07-2007 20:00:00; mid => 2; param => 1 ] Bean create => 1 Processed lines => 0; inserts => 0; erro
rs => 0; time => 3 ms.
INFO 18.07.2007 22:00:42 Processing source:1 time: 2007-07-18 21:00:00.0
DEBUG 18.07.2007 22:00:42 Ignoring: FROM_IFACE: 2; FROM_IP: 208.101.48.138; FROM_PORT: 111; TO_IFACE: 2; TO_IP: 90.189.129.109; TO_PORT: 11
1
DEBUG 18.07.2007 22:00:42 Ignoring: FROM_IFACE: 2; FROM_IP: 90.189.182.224; FROM_PORT: 9452; TO_IFACE: 0; TO_IP: 90.189.129.65; TO_PORT: 59
00
DEBUG 18.07.2007 22:00:42 LINE 2;20;4;42482
DEBUG 18.07.2007 22:00:42 addAmount 38_20_4 => 42482
DEBUG 18.07.2007 22:00:42 LINE 3;20;4;96
DEBUG 18.07.2007 22:00:42 addAmount 41_23_4 => 96
DEBUG 18.07.2007 22:00:42 LINE 4;20;4;470
DEBUG 18.07.2007 22:00:42 addAmount 38_20_4 => 470
DEBUG 18.07.2007 22:00:42 Ignoring: FROM_IFACE: 2; FROM_IP: 90.189.145.11; FROM_PORT: 1953; TO_IFACE: 0; TO_IP: 90.189.129.79; TO_PORT: 590
0
DEBUG 18.07.2007 22:00:42 LINE 6;40;5;606

вот фрагмент Netflow.log


DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] Parsing NetFlow packet
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] NetFlow packet version 5; flowCount: 14
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] Parsing flows..
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 1 Flow 2:90.189.147.199:3022 / 6:90.189.129.66:135 144 nextHop: 90.189.129.66
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 2 Flow 6:90.189.129.68:2287 / 2:216.65.119.13:1006 44 nextHop: 90.189.129.5
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 3 Flow 6:90.189.129.68:2279 / 2:194.135.30.42:1005 44 nextHop: 90.189.129.5
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 4 Flow 2:194.135.30.42:1005 / 6:90.189.129.68:2279 40 nextHop: 90.189.129.68
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 5 Flow 2:216.65.119.13:1006 / 6:90.189.129.68:2287 40 nextHop: 90.189.129.68
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 6 Flow 6:90.189.129.68:2466 / 2:212.164.71.58:80 352 nextHop: 90.189.129.5
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 7 Flow 2:212.164.71.58:80 / 6:90.189.129.68:2466 892 nextHop: 90.189.129.68
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 8 Flow 6:90.189.129.68:2458 / 2:212.164.71.58:80 1817 nextHop: 90.189.129.5
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 9 Flow 2:212.164.71.58:80 / 6:90.189.129.68:2458 14567 nextHop: 90.189.129.68
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 10 Flow 6:90.189.129.68:2280 / 2:195.28.55.139:2000 166 nextHop: 90.189.129.5
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 11 Flow 2:195.28.55.139:2000 / 6:90.189.129.68:2280 361 nextHop: 90.189.129.68
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 12 Flow 2:90.189.147.199:3425 / 2:90.189.129.87:139 5952 nextHop: 90.189.129.5
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 13 Flow 2:71.103.173.156:2838 / 0:90.189.129.77:445 96 nextHop: 0.0.0.0
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] 14 Flow 2:90.189.182.224:22298 / 0:90.189.129.6:445 144 nextHop: 0.0.0.0
DEBUG 18.07.2007 20:59:37 [pool-1-thread-1] End packet parsing..


странно вроде и нагрузки никакой нет
Автор:  Администратор [ 19 июл 2007, 10:39 ]
Заголовок сообщения: 
У вас случаем на одном порту не 2 коллектора: IPN и DialUP?
Автор:  ILYA-5 [ 19 июл 2007, 14:40 ]
Заголовок сообщения: 
Netflow Radius сидит на 2001 порту
netflow.port=2001

Netwflow IPN сидит на 2004 порту
port.admin=2003
port.netflow=2004


настройка циски
ipflow-export version 5

ip flow-export destination 10.88.11.2 2004
ip flow-export destination 10.88.11.2 2001
Автор:  ILYA-5 [ 20 июл 2007, 10:20 ]
Заголовок сообщения: 
Сегодня с 0 часов опять перестали записываться логи
причем попытки перезапуска коллектора ни к чему не приводят.

несколько раз пытался перезапустить с 0 часов, потом пробовал в 8,30 и 9, последний раз запустил в 10,09

-rw-r--r-- 1 root root 0 Jul 20 00:00 log_00
-rw-r--r-- 1 root root 0 Jul 20 01:00 log_01
-rw-r--r-- 1 root root 0 Jul 20 02:00 log_02
-rw-r--r-- 1 root root 0 Jul 20 03:00 log_03
-rw-r--r-- 1 root root 0 Jul 20 04:00 log_04
-rw-r--r-- 1 root root 0 Jul 20 05:00 log_05
-rw-r--r-- 1 root root 0 Jul 20 06:00 log_06
-rw-r--r-- 1 root root 0 Jul 20 07:00 log_07
-rw-r--r-- 1 root root 0 Jul 20 08:00 log_08
-rw-r--r-- 1 root root 0 Jul 20 09:00 log_09
-rw-r--r-- 1 root root 0 Jul 20 10:00 log_10

Статус коллектора

Started: 20.07.2007 10:09:04 Uptime: 0 d 00:46:27
Memory total: 7 012 352; max: 258 539 520; free: 3 576 304
NetFlow listener: queue size: 0; threads active: 0; largest: 10; core: 10; pool_size: 10
Flow loader: packets: 201; flows: 2141

collector.log

INFO 20.07.2007 10:09:04 Starting BG NetFlow collector for IPN..
INFO 20.07.2007 10:09:04 Reload source list.
INFO 20.07.2007 10:09:04 IP: 10.99.1.1 => 1
INFO 20.07.2007 10:09:04 Load => true; process => true
INFO 20.07.2007 10:09:04 Starting NetFlow listener on port 2004
INFO 20.07.2007 10:09:11 Admin command: status
INFO 20.07.2007 10:55:32 Admin command: status


Netflow.log

DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] Recieved packet from 10.99.1.1; length = 216 running thread..
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] Parsing NetFlow packet
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] NetFlow packet version 5; flowCount: 4
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] Parsing flows..
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] 1 Flow 2:90.189.148.192:4283 / 2:90.189.129.102:135 5952 nextHop: 90.189.129.5
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] 2 Flow 2:90.189.182.224:8811 / 0:90.189.129.79:445 96 nextHop: 0.0.0.0
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] 3 Flow 2:90.189.141.171:3951 / 2:90.189.129.127:445 5760 nextHop: 90.189.129.5
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] 4 Flow 2:90.189.182.224:9035 / 0:90.189.129.79:2967 96 nextHop: 0.0.0.0
DEBUG 20.07.2007 10:57:38 [pool-1-thread-2] End packet parsing..


буквально сейчас перевалило границу 11-го час и появился лог за 10-ый час


-rw-r--r-- 1 root root 0 Jul 20 04:00 log_04
-rw-r--r-- 1 root root 0 Jul 20 05:00 log_05
-rw-r--r-- 1 root root 0 Jul 20 06:00 log_06
-rw-r--r-- 1 root root 0 Jul 20 07:00 log_07
-rw-r--r-- 1 root root 0 Jul 20 08:00 log_08
-rw-r--r-- 1 root root 0 Jul 20 09:00 log_09
-rw-r--r-- 1 root root 20020 Jul 20 11:00 log_10
-rw-r--r-- 1 root root 0 Jul 20 11:00 log_11

Вопрос к разработчикам, я так понимаю Netflowcollector постоянно пишет информацию поступающую от netflow источника( в моем случае Cisco 2811). С какой периодичностью происхдит запись лог файл.
Судя по выше приведенным логам файл log_11 не изменяется, куда же тогда сохраняются необработанные Netflow данные?
Автор:  Администратор [ 20 июл 2007, 11:23 ]
Заголовок сообщения: 
Вывод в файл для ускорения идет буферизированный буферами по 1 МБ. Буфер скидывается на границе часа либо чаще если обработка логов производится чаще (опция generate.minutes). Буфер также скидывается при корректном стопе коллектора либо вызове ./neflow.sh flush.
Причиной нулевых логов это не должно являться.
Я вам предлагаю запустить по порту коллектора tcpdump и анализировать идут ли вообще какие-либо данные на порт в моменты когда логи нулевые.
Автор:  ILYA-5 [ 20 июл 2007, 12:56 ]
Заголовок сообщения: 
Цитата:
Я вам предлагаю запустить по порту коллектора tcpdump и анализировать идут ли вообще какие-либо данные на порт в моменты когда логи нулевые.


А разве данные netflow.log не являются подтвержднием того что данные поступают на коллектор
Автор:  ILYA-5 [ 20 июл 2007, 22:31 ]
Заголовок сообщения: 
По Вашему совету запустили tcpdump по порту для приема netflow 2004

пакеты идут:

23:22:52.924876 IP 10.99.1.1.60411 > 10.88.11.2.2004: UDP, length 312
23:23:04.925047 IP 10.99.1.1.60411 > 10.88.11.2.2004: UDP, length 216
23:23:18.925287 IP 10.99.1.1.60411 > 10.88.11.2.2004: UDP, length 360
23:23:35.925625 IP 10.99.1.1.60411 > 10.88.11.2.2004: UDP, length 168

в то же время вот логи за сутки

-rw-r--r-- 1 root root 0 Jul 20 00:00 log_00
-rw-r--r-- 1 root root 0 Jul 20 01:00 log_01
-rw-r--r-- 1 root root 0 Jul 20 02:00 log_02
-rw-r--r-- 1 root root 0 Jul 20 03:00 log_03
-rw-r--r-- 1 root root 0 Jul 20 04:00 log_04
-rw-r--r-- 1 root root 0 Jul 20 05:00 log_05
-rw-r--r-- 1 root root 0 Jul 20 06:00 log_06
-rw-r--r-- 1 root root 0 Jul 20 07:00 log_07
-rw-r--r-- 1 root root 0 Jul 20 08:00 log_08
-rw-r--r-- 1 root root 0 Jul 20 09:00 log_09
-rw-r--r-- 1 root root 20020 Jul 20 11:00 log_10
-rw-r--r-- 1 root root 20000 Jul 20 12:00 log_11
-rw-r--r-- 1 root root 20040 Jul 20 13:00 log_12
-rw-r--r-- 1 root root 20140 Jul 20 14:00 log_13
-rw-r--r-- 1 root root 20020 Jul 20 15:00 log_14
-rw-r--r-- 1 root root 20160 Jul 20 16:00 log_15
-rw-r--r-- 1 root root 20160 Jul 20 17:00 log_16
-rw-r--r-- 1 root root 20280 Jul 20 18:00 log_17
-rw-r--r-- 1 root root 0 Jul 20 18:00 log_18
-rw-r--r-- 1 root root 0 Jul 20 19:00 log_19
-rw-r--r-- 1 root root 0 Jul 20 20:00 log_20
-rw-r--r-- 1 root root 0 Jul 20 21:00 log_21
-rw-r--r-- 1 root root 0 Jul 20 22:00 log_22
-rw-r--r-- 1 root root 0 Jul 20 23:00 log_23

./neflow.sh flush. выполняется, только размер лог-файлов после этого не меняется


Как видим пакеты идут. Подскажите где копать?
Автор:  Администратор [ 23 июл 2007, 11:24 ]
Заголовок сообщения: 
А netflow.log за эти часы ничего не пишет? В netflow.out ошибок нет?
Автор:  ILYA-5 [ 23 июл 2007, 11:48 ]
Заголовок сообщения: 
Цитата:
А netflow.log за эти часы ничего не пишет?


Я уже приводил содержимое netflow.log -в своих предыдущих сообщениях. С ним все в порядке. Файла Netflow.out у нас вообще нет. Или подскажите в какой папке он должен находиться.

Приведу еще раз Netflow.log:
DEBUG 23.07.2007 12:32:20 [pool-1-thread-2] 14 Flow 7:10.88.88.77:2159 / 2:212
.164.71.25:9011 2500 nextHop: 90.189.129.5
DEBUG 23.07.2007 12:32:20 [pool-1-thread-2] 15 Flow 2:212.164.71.25:9011 / 7:9
0.189.129.6:2159 43741 nextHop: 10.88.88.77
DEBUG 23.07.2007 12:32:20 [pool-1-thread-2] 16 Flow 2:90.189.182.224:27940 / 2
:90.189.129.85:5900 5952 nextHop: 90.189.129.5
DEBUG 23.07.2007 12:32:20 [pool-1-thread-2] 17 Flow 7:10.88.88.6:123 / 0:10.99
.1.1:123 76 nextHop: 0.0.0.0
DEBUG 23.07.2007 12:32:20 [pool-1-thread-2] End packet parsing.
Автор:  Администратор [ 23 июл 2007, 12:02 ]
Заголовок сообщения: 
Поищите в netflow.log записи за часы когда были нулевые логи, то что он вообще есть понятно.. netflow.out должен располагаться в BGIPNNetflowCollector/log вместе с другими логами.
Попробуйте сразу поставить коллектор для 4.2 версии, он совместим с 4.1 биллингом.
Автор:  ILYA-5 [ 23 июл 2007, 15:41 ]
Заголовок сообщения: 
опять пропали логи теперь за 15-ый час

вот netflow.log

DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] NetFlow packet version 5; flowCount: 14
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] Parsing flows..
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 1 Flow 10:90.189.129.68:3441 / 2:195.28.55.138:1006 44 nextHop: 90.189.129.5
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 2 Flow 10:90.189.129.68:3330 / 2:62.118.252.30:1005 44 nextHop: 90.189.129.5
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 3 Flow 2:195.28.55.139:2000 / 10:90.189.129.68:3356 222 nextHop: 90.189.129.68
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 4 Flow 10:90.189.129.68:3356 / 2:195.28.55.139:2000 126 nextHop: 90.189.129.5
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 5 Flow 2:62.118.252.30:1005 / 10:90.189.129.68:3330 40 nextHop: 90.189.129.68
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 6 Flow 2:195.28.55.138:1006 / 10:90.189.129.68:3441 40 nextHop: 90.189.129.68
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 7 Flow 2:90.189.47.242:3699 / 0:90.189.129.74:139 96 nextHop: 0.0.0.0
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 8 Flow 10:90.189.129.69:1867 / 2:205.188.9.93:5190 46 nextHop: 90.189.129.5
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 9 Flow 2:205.188.9.93:5190 / 10:90.189.129.69:1867 40 nextHop: 90.189.129.69
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 10 Flow 10:90.189.129.66:123 / 2:91.121.12.42:123 76 nextHop: 90.189.129.5
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 11 Flow 2:91.121.12.42:123 / 10:90.189.129.66:123 76 nextHop: 90.189.129.66
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 12 Flow 2:89.251.96.228:44000 / 10:90.189.129.67:44000 874 nextHop: 90.189.129.67
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 13 Flow 10:90.189.129.67:44000 / 2:89.251.96.228:44000 859 nextHop: 90.189.129.5
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] 14 Flow 7:10.88.88.122:137 / 0:10.88.88.255:137 78 nextHop: 0.0.0.0
DEBUG 23.07.2007 15:13:00 [pool-1-thread-1] End packet parsing..
DEBUG 23.07.2007 15:13:12 [pool-1-thread-10] Recieved packet from 10.99.1.1; length = 456 running thread..
DEBUG 23.07.2007 15:13:12 [pool-1-thread-10] Parsing NetFlow packet


loader.log
INFO 23.07.2007 12:13:42 Make new loader for 1
INFO 23.07.2007 13:00:13 Reinit loaders map..
INFO 23.07.2007 13:00:13 Make new loader for 1
INFO 23.07.2007 14:00:13 Reinit loaders map..
INFO 23.07.2007 14:00:13 Make new loader for 1
INFO 23.07.2007 15:00:10 Reinit loaders map..
INFO 23.07.2007 15:00:10 Make new loader for 1
INFO 23.07.2007 16:00:11 Reinit loaders map..
INFO 23.07.2007 16:00:11 Make new loader for 1


dataloader.log
DEBUG 23.07.2007 15:00:38 LINE 453;20;4;27498
DEBUG 23.07.2007 15:00:38 addAmount 40_21_4 => 27498
DEBUG 23.07.2007 15:00:38 LINE 454;20;4;689
DEBUG 23.07.2007 15:00:38 addAmount 40_21_4 => 689
DEBUG 23.07.2007 15:00:38 LINE 455;40;5;612
DEBUG 23.07.2007 15:00:38 addAmount 40_21_5 => 612
DEBUG 23.07.2007 15:00:38 Ignoring: FROM_IFACE: 2; FROM_IP:

----------------------------------------------------------


DEBUG 23.07.2007 15:00:38 addAmount 40_21_5 => 604
DEBUG 23.07.2007 15:00:38 LINE 1013;20;4;465
DEBUG 23.07.2007 15:00:38 addAmount 38_20_4 => 465
DEBUG 23.07.2007 15:00:38 LINE 1014;40;5;3119
DEBUG 23.07.2007 15:00:38 addAmount 40_21_5 => 3119
INFO 23.07.2007 15:00:38 proccess [ 23-07-2007 14:00:00; mid => 2; param => 1 ] Bean create => 2 Processed lines => 1015; inserts =>
11; errors => 0; time => 45 ms.
INFO 23.07.2007 16:00:38 Processing source:1 time: 2007-07-23 15:00:00.0
INFO 23.07.2007 16:00:38 proccess [ 23-07-2007 15:00:00; mid => 2; param => 1 ] Bean create => 2 Processed lines => 0; inserts => 0;
errors => 0; time => 3 ms.
INFO 23.07.2007 16:33:27 Processing source:1 time: 2007-07-23 11:00:00.0
INFO 23.07.2007 16:33:27 proccess [ 23-07-2007 11:00:00; mid => 2; param => 1 ] Bean create => 2 Processed lines => 0; inserts => 0;
errors => 0; time => 3 ms.


collector.log

INFO 23.07.2007 12:13:35 Starting BG NetFlow collector for IPN..
INFO 23.07.2007 12:13:35 Reload source list.
INFO 23.07.2007 12:13:35 IP: 10.99.1.1 => 1
INFO 23.07.2007 12:13:35 Load => true; process => true
INFO 23.07.2007 12:13:35 Starting NetFlow listener on port 2004
INFO 23.07.2007 12:19:09 Admin command: status
INFO 23.07.2007 12:28:01 Admin command: status
INFO 23.07.2007 13:00:13 FLUSH 1
INFO 23.07.2007 13:00:36 FLUSH 1
INFO 23.07.2007 14:00:13 FLUSH 1
INFO 23.07.2007 14:00:37 FLUSH 1
INFO 23.07.2007 15:00:10 FLUSH 1
INFO 23.07.2007 15:00:37 FLUSH 1
INFO 23.07.2007 16:00:11 FLUSH 1
INFO 23.07.2007 16:00:38 FLUSH 1


вот dataloader.out
Checking port 9033...
Port is free starting the applicalion...
Starting DLProcessManager on 9033
Creating socket on 9033


кстати в BGIPNNetflowCollector/log файла netflow.out нет.
Автор:  Anton [ 23 июл 2007, 15:53 ]
Заголовок сообщения: 
После того как пропали логи за 15 час, решили перезапустить netflow коллектор.

Остоновка прошла штатно, но после нового старта на терминал вышло сообщение вида:
log4j:ERROR setFile(null,false) call failed.
java.io.FileNotFoundException: BGBillingServer/BGIPNNetflowCollector/log/generator.log (Permission denied)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:179)
at java.io.FileOutputStream.<init>(FileOutputStream.java:102)
at org.apache.log4j.FileAppender.setFile(FileAppender.java:272)
at org.apache.log4j.RollingFileAppender.setFile(RollingFileAppender.java:156)
at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:151)
at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:247)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:123)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:87)
at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:645)
at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:603)
at org.apache.log4j.PropertyConfigurator.parseCatsAndRenderers(PropertyConfigurator.java:524)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:408)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:307)
at org.apache.log4j.PropertyWatchdog.doOnChange(PropertyConfigurator.java:673)
at org.apache.log4j.helpers.FileWatchdog.checkAndConfigure(FileWatchdog.java:80)
at org.apache.log4j.helpers.FileWatchdog.<init>(FileWatchdog.java:49)
at org.apache.log4j.PropertyWatchdog.<init>(PropertyConfigurator.java:665)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:373)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:355)
at bitel.billing.server.netflow.ipn.NetFlowSetup.logConfigure(NetFlowSetup.java:23)
at bitel.billing.server.netflow.ipn.Collector.<init>(Collector.java:12)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:59)
log4j:ERROR setFile(null,false) call failed.
java.io.FileNotFoundException: BGBillingServer/BGIPNNetflowCollector/log/collector.log (Permission denied)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:179)
at java.io.FileOutputStream.<init>(FileOutputStream.java:102)
at org.apache.log4j.FileAppender.setFile(FileAppender.java:272)
at org.apache.log4j.RollingFileAppender.setFile(RollingFileAppender.java:156)
at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:151)
at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:247)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:123)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:87)
at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:645)
at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:603)
at org.apache.log4j.PropertyConfigurator.parseCatsAndRenderers(PropertyConfigurator.java:524)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:408)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:307)
at org.apache.log4j.PropertyWatchdog.doOnChange(PropertyConfigurator.java:673)
at org.apache.log4j.helpers.FileWatchdog.checkAndConfigure(FileWatchdog.java:80)
at org.apache.log4j.helpers.FileWatchdog.<init>(FileWatchdog.java:49)
at org.apache.log4j.PropertyWatchdog.<init>(PropertyConfigurator.java:665)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:373)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:355)
at bitel.billing.server.netflow.ipn.NetFlowSetup.logConfigure(NetFlowSetup.java:23)
at bitel.billing.server.netflow.ipn.Collector.<init>(Collector.java:12)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:59)
log4j:ERROR setFile(null,false) call failed.
java.io.FileNotFoundException: BGBillingServer/BGIPNNetflowCollector/log/dataloader.log (Permission denied)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:179)
at java.io.FileOutputStream.<init>(FileOutputStream.java:102)
at org.apache.log4j.FileAppender.setFile(FileAppender.java:272)
at org.apache.log4j.RollingFileAppender.setFile(RollingFileAppender.java:156)
at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:151)
at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:247)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:123)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:87)
at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:645)
at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:603)
at org.apache.log4j.PropertyConfigurator.parseCatsAndRenderers(PropertyConfigurator.java:524)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:408)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:307)
at org.apache.log4j.PropertyWatchdog.doOnChange(PropertyConfigurator.java:673)
at org.apache.log4j.helpers.FileWatchdog.checkAndConfigure(FileWatchdog.java:80)
at org.apache.log4j.helpers.FileWatchdog.<init>(FileWatchdog.java:49)
at org.apache.log4j.PropertyWatchdog.<init>(PropertyConfigurator.java:665)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:373)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:355)
at bitel.billing.server.netflow.ipn.NetFlowSetup.logConfigure(NetFlowSetup.java:23)
at bitel.billing.server.netflow.ipn.Collector.<init>(Collector.java:12)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:59)
log4j:ERROR setFile(null,false) call failed.
java.io.FileNotFoundException: BGBillingServer/BGIPNNetflowCollector/log/loader.log (Permission denied)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:179)
at java.io.FileOutputStream.<init>(FileOutputStream.java:102)
at org.apache.log4j.FileAppender.setFile(FileAppender.java:272)
at org.apache.log4j.RollingFileAppender.setFile(RollingFileAppender.java:156)
at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:151)
at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:247)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:123)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:87)
at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:645)
at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:603)
at org.apache.log4j.PropertyConfigurator.parseCatsAndRenderers(PropertyConfigurator.java:524)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:408)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:307)
at org.apache.log4j.PropertyWatchdog.doOnChange(PropertyConfigurator.java:673)
at org.apache.log4j.helpers.FileWatchdog.checkAndConfigure(FileWatchdog.java:80)
at org.apache.log4j.helpers.FileWatchdog.<init>(FileWatchdog.java:49)
at org.apache.log4j.PropertyWatchdog.<init>(PropertyConfigurator.java:665)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:373)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:355)
at bitel.billing.server.netflow.ipn.NetFlowSetup.logConfigure(NetFlowSetup.java:23)
at bitel.billing.server.netflow.ipn.Collector.<init>(Collector.java:12)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:59)
log4j:ERROR setFile(null,false) call failed.
java.io.FileNotFoundException: BGBillingServer/BGIPNNetflowCollector/log/netflow.log (Permission denied)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:179)
at java.io.FileOutputStream.<init>(FileOutputStream.java:102)
at org.apache.log4j.FileAppender.setFile(FileAppender.java:272)
at org.apache.log4j.RollingFileAppender.setFile(RollingFileAppender.java:156)
at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:151)
at org.apache.log4j.config.PropertySetter.activate(PropertySetter.java:247)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:123)
at org.apache.log4j.config.PropertySetter.setProperties(PropertySetter.java:87)
at org.apache.log4j.PropertyConfigurator.parseAppender(PropertyConfigurator.java:645)
at org.apache.log4j.PropertyConfigurator.parseCategory(PropertyConfigurator.java:603)
at org.apache.log4j.PropertyConfigurator.parseCatsAndRenderers(PropertyConfigurator.java:524)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:408)
at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:307)
at org.apache.log4j.PropertyWatchdog.doOnChange(PropertyConfigurator.java:673)
at org.apache.log4j.helpers.FileWatchdog.checkAndConfigure(FileWatchdog.java:80)
at org.apache.log4j.helpers.FileWatchdog.<init>(FileWatchdog.java:49)
at org.apache.log4j.PropertyWatchdog.<init>(PropertyConfigurator.java:665)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:373)
at org.apache.log4j.PropertyConfigurator.configureAndWatch(PropertyConfigurator.java:355)
at bitel.billing.server.netflow.ipn.NetFlowSetup.logConfigure(NetFlowSetup.java:23)
at bitel.billing.server.netflow.ipn.Collector.<init>(Collector.java:12)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:59)
java.io.FileNotFoundException: BGBillingServer/BGIPNNetflowCollector/log/source_1/2007/07/23/log_16 (Permission denied)
at java.io.FileOutputStream.openAppend(Native Method)
at java.io.FileOutputStream.<init>(FileOutputStream.java:177)
at bitel.billing.server.netflow.ipn.BinaryLogLoadOut.<init>(BinaryLogLoadOut.java:27)
at bitel.billing.server.netflow.ipn.FlowsLoader.addFlow(FlowsLoader.java:104)
at bitel.billing.server.netflow.ipn.NetFlowRequestThread.run(NetFlowRequestThread.java:38)
at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:650)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:675)
at java.lang.Thread.run(Thread.java:595)


Прошу подсказать в чем причина данного поведения.Все предыдущие запуски были без подобных сообщений.
Автор:  ILYA-5 [ 23 июл 2007, 16:41 ]
Заголовок сообщения: 
Вообще у меня такое чувство что Collector не скидывает файл из буфера по причиние низкой сетевой активности, ночные логи всегда нулевые.

Еще вопрос в инструкции не нашел порядок обновления Netflow коллектора при переходе с версии 4.1. Есть ли какие нибудь рекомендации по этому поводу.
Автор:  Администратор [ 24 июл 2007, 11:02 ]
Заголовок сообщения: 
Вы коллектор под рутом запускаете?
Автор:  ILYA-5 [ 24 июл 2007, 12:18 ]
Заголовок сообщения: 
Да коллектор запускаю под рутом.

Установили вчера коллектор 4,2 пока вроде все работает без сбоев и считает корректно.
Спасибо за поддержку. Будем тестировать дальше
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/