forum.bitel.ru
http://forum.bitel.ru/

в менеджере источников все белое
http://forum.bitel.ru/viewtopic.php?f=7&t=3020		 Страница 1 из 1
Автор:  survivor [ 14 окт 2009, 20:17 ]
Заголовок сообщения:  в менеджере источников все белое
Доброго времени суток!

Что-то странное творится с моим биллингом - сначала у одного клиента поплыл трафик: до 15 GB трафик должен быть бесплатным, клиент скачал 3, а деньги начали сниматься за превалирующий... проверил тариф - все правильно, заглянул в менеджер источников и ахнул: он весь белый! вообще нет никакого трафика! а у клиента, что интересно, трафик продолжает считаться, причем с делением по типам трафика (т.е. netflow а не radius данные). Смотрю в директорию /usr/local/BGIPNNetflowCollector/log - файлы есть, причем не маленькие....
Попробовал в менеджере источников добавить пустой (белый) квадрат в обработку - вот что в логах:
10-14/18:37:00 INFO [Thread-12] dataloader - Processing source:4 time: 2009-10-08 13:00:00.0
10-14/18:37:00 INFO [Thread-12] Setup - Load config for mid=4
10-14/18:37:02 INFO [Thread-12] dataloader - proccess [ 08-10-2009 13:00:00; mid => 4; param => 4 ] Bean create => 7 Processed lines => 555000; inserts => 0; errors => 0; time => 1338 ms.

что странно: Processed lines => 555000 значит файлы он видит, но inserts => 0; !!!

за прошлый месяц все в порядке - квадратики фиолетовые - загружены и обработаны...


Чего-то я ничего не понимаю, помогите, пожалуйста!

Спасибо заранее!
Автор:  survivor [ 15 окт 2009, 13:39 ]
Заголовок сообщения:  Re: в менеджере источников все белое
запустил переобработку траффика, в отчете получил:

Запуск обработки трафиков => 14.10.2009 18:46:21

Период: 13.10.2009-14.10.2009
Not found netflow logs for nas. NAS id=1
Not found netflow logs for nas. NAS id=2
Not found netflow logs for nas. NAS id=3
Not found netflow logs for nas. NAS id=4
Not found netflow logs for nas. NAS id=5
Not found netflow logs for nas. NAS id=6
Not found netflow logs for nas. NAS id=7
Not found netflow logs for nas. NAS id=8
Not found netflow logs for nas. NAS id=9
Not found netflow logs for nas. NAS id=10
Not found netflow logs for nas. NAS id=11
Not found netflow logs for nas. NAS id=12

Окончание обработки трафиков => 14.10.2009 18:46:21

Как так? Файлы то есть!

P.S
Netflow собираю так:
/usr/bin/flow-capture -n 95 -N -3 -w /usr/local/BGIPNNetflowCollector/log/source_1 -R /usr/system/netflow-rotate/rotate.pl <ip сервера>/<ip nas'а>/<port>

Биллинг:
BGBillingServer v 4.6 build 559 from 08.09.2009 19:19:05
Автор:  survivor [ 15 окт 2009, 17:31 ]
Заголовок сообщения:  Re: в менеджере источников все белое
что интересно запустил rotate скрипт вручную:

/usr/system/netflow-rotate/rotate.pl /usr/local/BGIPNNetflowCollector/log/source_4/2009/2009-10/2009-10-15/ft-v05.2009-10-15.144500+0500

в менеджере источников появился фиолетовый квадратик - трафик обработался!

ничего не понимаю....
Автор:  survivor [ 15 окт 2009, 19:31 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Если не трудно, уважаемые разработчики (больше никто похоже не знает) помогите разобраться - почему файлы собранные flow-capture не обрабатываются сервером netflow в автомате, хотя вручную все ok
Автор:  Amir [ 15 окт 2009, 19:50 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Там похоже в доке не правильно...
В rotate program передается путь к файлу, но не полный, а начиная от -w.
По крайней мере в текущей версии...
Попробуйте поменять rotate.pl на rotate_1.pl
Цитата:
#!/usr/bin/perl

my $name = $ARGV[0];
my $loader='/usr/local/BGIPNNetflowCollector/netflow.sh';

if ( $name =~ /.*\.(\d\d\d\d)-(\d\d)-(\d\d)\.(\d\d)/ )
{
my $logYY = $2;
my $logMM = $3;
my $logDD = $4;
my $logHH = $5;

`$loader isload 1 $logYY-$logMM-$logDD-$logHH`;
}
else
{
die "unknown format $name";
}
Автор:  survivor [ 19 окт 2009, 18:46 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Спасибо за совет!

Попробовал, но, к сожалению, не помогло...
Автор:  Amir [ 20 окт 2009, 12:50 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Попробуйте поменять, чтобы вывод сохранялся, на что ругается...
Код:
`$loader isload 1 $logYY-$logMM-$logDD-$logHH >> out.txt`;
Автор:  survivor [ 20 окт 2009, 13:50 ]
Заголовок сообщения:  Re: в менеджере источников все белое
В логах: Incorrect date!

Давайте еще раз пройдемся по настройкам:

flow-capture у меня запускается так:

/usr/bin/flow-capture -n 95 -N -3 -w /usr/local/BGIPNNetflowCollector/log/source_4 -R /usr/system/netflow-rotate/rotate_4.pl <ip сервера>/<ip источника>/2014

в результате в директории:

/usr/local/BGIPNNetflowCollector/log/source_4/2009/2009-10/2009-10-20

появляются файлы:
ft-v05.2009-10-20.104500+0500
ft-v05.2009-10-20.110000+0500
ft-v05.2009-10-20.111500+0500
...
и т.д.

rotate скрипт у меня сейчас такой:

#!/usr/bin/perl

my $name = $ARGV[0];
my $loader='/usr/local/BGIPNNetflowCollector/netflow.sh';

if ( $name =~ /.*\.(\d\d\d\d)-(\d\d)-(\d\d)\.(\d\d)/ )
{
my $logYY = $2;
my $logMM = $3;
my $logDD = $4;
my $logHH = $5;

`$loader isload 4 $logYY-$logMM-$logDD-$logHH >> /usr/system/netflow-rotate/out_4.txt`;
}
else
{
die "unknown format $name";
}
Автор:  Amir [ 20 окт 2009, 15:26 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Неправильно подправить сказал :(
Цитата:
#!/usr/bin/perl

my $name = $ARGV[0];
my $loader='/usr/local/BGIPNNetflowCollector/netflow.sh';

if ( $name =~ /.*\.(\d\d\d\d)-(\d\d)-(\d\d)\.(\d\d)/ )
{
my $logYY = $1;
my $logMM = $2;
my $logDD = $3;
my $logHH = $4;

`$loader isload 1 $logYY-$logMM-$logDD-$logHH`;
}
else
{
die "unknown format $name";
}
Автор:  survivor [ 20 окт 2009, 17:27 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Спасибо! Сейчас все OK!
Автор:  survivor [ 21 окт 2009, 13:20 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Данные теперь собираются, но проблема до конца не решена... Помогите еще раз, пожалуйста. В менеджере источников теперь все зеленое - то есть "В обработке", но почему то не становится фиолетовым - "Обработан".
Автор:  Amir [ 21 окт 2009, 14:34 ]
Заголовок сообщения:  Re: в менеджере источников все белое
В логах коллектора в dataloader.log что?
Попробуйте выбрать все, удалить из обработки, а потом добавить в обработку снова.
Автор:  survivor [ 21 окт 2009, 17:29 ]
Заголовок сообщения:  Re: в менеджере источников все белое
в логах:

root@billing:/usr/local/BGIPNNetflowCollector/log# tail -f dataloader.log
10-20/19:02:44 INFO [Thread-12] dataloader - proccess [ 01-10-2009 05:00:00; mid => 4; param => 2 ] Bean create => 1 Processed lines => 174390; inserts => 0; errors => 0; time => 344 ms.
10-20/19:02:44 INFO [Thread-12] dataloader - Processing source:2 time: 2009-10-01 06:00:00.0
10-20/19:02:44 INFO [Thread-12] dataloader - proccess [ 01-10-2009 06:00:00; mid => 4; param => 2 ] Bean create => 1 Processed lines => 177120; inserts => 0; errors => 0; time => 594 ms.
10-20/19:02:44 INFO [Thread-12] dataloader - Processing source:2 time: 2009-10-01 07:00:00.0
10-20/19:02:46 INFO [Thread-12] dataloader - proccess [ 01-10-2009 07:00:00; mid => 4; param => 2 ] Bean create => 1 Processed lines => 167520; inserts => 0; errors => 0; time => 1846 ms.
10-20/19:02:46 INFO [Thread-12] dataloader - Processing source:2 time: 2009-10-01 08:00:00.0
10-20/19:02:48 INFO [Thread-12] dataloader - proccess [ 01-10-2009 08:00:00; mid => 4; param => 2 ] Bean create => 1 Processed lines => 156150; inserts => 0; errors => 0; time => 1210 ms.
10-20/19:02:48 INFO [Thread-12] dataloader - Processing source:2 time: 2009-10-01 09:00:00.0
10-20/19:02:50 INFO [Thread-12] dataloader - proccess [ 01-10-2009 09:00:00; mid => 4; param => 2 ] Bean create => 1 Processed lines => 230580; inserts => 0; errors => 0; time => 2843 ms.
10-20/19:02:50 INFO [Thread-12] dataloader - Processing source:2 time: 2009-10-01 10:00:00.0


удалил из обработки, добавил снова - никаких логов... и ничего не изменилось
Автор:  Amir [ 22 окт 2009, 12:18 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Что в netflow.properties?
Автор:  survivor [ 22 окт 2009, 13:27 ]
Заголовок сообщения:  Re: в менеджере источников все белое
такого файла у меня вообще нет, но есть netflow_ipn.properties:

root@billing:/usr/local/BGIPNNetflowCollector# cat netflow_ipn.properties

port.admin=2003

#êîä ìîäóëÿ IPN
collector.mid=4

#îïöèè ïîäêëþ÷åíèÿ ê ÁÄ
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://localhost/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=...
db.maxActive=1000
db.maxIdle=100

#äèðåêòîðèÿ ëîãîâ
log.dir=/usr/local/BGIPNNetflowCollector/log

load=0

process=1
sources=1,2,3,4,5,6,7,8,9,10,11,12

#ïîðò
collector.capture.flow.port.1=2004
#òèï ñëóøàòåëÿ
collector.capture.flow.port.1.type=netflow
#îáñëóæèâàåìûå íà ïîðòó èñòî÷íèêè (óêàçàííîãî òèïà)
collector.capture.flow.port.1.sources=
#êîëè÷åñòâî ïîòîêîâ
collector.capture.flow.port.1.thread.count=20
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#îïðàøèâàòåëü snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#ðàçìåð áëîêà
datalog.chunk.size=393216
#ñæàòèå ëîãîâ
#datalog.flow.compression.type=1
Автор:  Amir [ 22 окт 2009, 16:27 ]
Заголовок сообщения:  Re: в менеджере источников все белое
можете дать доступ по ssh?
Автор:  survivor [ 26 окт 2009, 14:17 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Могу :-)

Какая процедура? Как это сделать безопасно?
Автор:  survivor [ 26 окт 2009, 15:16 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Кстати, при ручном добавлении старых файлов (которые собрались за время пока rotate давал ошибку) время от времени появляются такие ошибки:

java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:282)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:243)
Автор:  Amir [ 27 окт 2009, 13:56 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Доступ можно в личку.
А у вас коллектор точно запущен? :)
Автор:  WhiteWind [ 07 ноя 2009, 20:29 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Обновился с 4.5 до 4.6. В 17 часов. Результат на скриншоте.

Ещё обнаружил, что поменялся не только формат хранения логов, но и путь:
в 4.5: /var/db/flows/source_4/2009/11/07/log_17
в 4.6: /var/db/flows/source_4/2009/2009-11/2009-11-07/log_2009-11-07-17.000.bgdl

И такой вопрос: получается, что логи NetFlow за 17-й час находятся в двух файлах. Потеряю ли я данные из файла /var/db/flows/source_4/2009/11/07/log_17 при обработке логов?

Вложения:
Png_0001.png
Png_0001.png [ 13.14 КБ | Просмотров: 9257 ]
Автор:  WhiteWind [ 07 ноя 2009, 20:34 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Нашёл в соседней теме решение: viewtopic.php?f=7&t=3139

Но про потерю данных из старого лога вопрос остаётся
Автор:  Amir [ 09 ноя 2009, 14:12 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Цитата:
И такой вопрос: получается, что логи NetFlow за 17-й час находятся в двух файлах. Потеряю ли я данные из файла /var/db/flows/source_4/2009/11/07/log_17 при обработке логов?

Не должно. При обработке часа он берет несколько лог файлов по маске, в том числе и старого формата.
Автор:  WhiteWind [ 09 ноя 2009, 14:59 ]
Заголовок сообщения:  Re: в менеджере источников все белое
Посмотрел детализацию - вроде, не потерялось
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/