forum.bitel.ru
http://forum.bitel.ru/

Не считается трафик
http://forum.bitel.ru/viewtopic.php?f=7&t=7428		 Страница 1 из 1
Автор:  max [ 14 ноя 2012, 23:38 ]
Заголовок сообщения:  Не считается трафик
Имеется вот такая картина (см скриншот), при этом трафик у абонентов не считается. Подскажите пожалуйста куда рыть?
Сами логи в папке LOGS есть.

Версия 5.1 последняя.

Заранее спасибо.
Автор:  Phricker [ 17 ноя 2012, 22:53 ]
Заголовок сообщения:  Re: Не считается трафик
Не могу найти тему. Помоему только там про Phone было. Что задачи виснут по обработке трафика. И там тоже зелененькие квадраты были
Автор:  mash55 [ 21 ноя 2012, 09:17 ]
Заголовок сообщения:  Re: Не считается трафик
А выделить все поле клеточек и в контекстном меню "Добавить в обработку" делали?
Автор:  mash55 [ 21 ноя 2012, 09:23 ]
Заголовок сообщения:  Re: Не считается трафик
В планировщике заданий есть задача "Обсчет логов IPN"? В параметрах запуска задан mid модуля IPN?
Автор:  max [ 21 ноя 2012, 20:46 ]
Заголовок сообщения:  Re: Не считается трафик
да
Автор:  mash55 [ 22 ноя 2012, 10:32 ]
Заголовок сообщения:  Re: Не считается трафик
проверьте по этой инструкции:
http://wiki.bgbilling.ru/index.php/%D0% ... 1%80%D0%B0
Автор:  mash55 [ 22 ноя 2012, 10:35 ]
Заголовок сообщения:  Re: Не считается трафик
Зелеными, кстати, обозначается трафик "загружен"+"в обработке"
Автор:  stark [ 23 ноя 2012, 18:21 ]
Заголовок сообщения:  Re: Не считается трафик
Удалите из обработки и заново добавьте . Что при этом пишет в логах планировщика .
Автор:  mash55 [ 26 ноя 2012, 23:30 ]
Заголовок сообщения:  Re: Не считается трафик
для BGIPNNetflowCollector в файле netflow_ipn.properties:
Код:
....
#директория логов
log.dir=null
load=1
process=1
sources=1

#порт
collector.capture.flow.port.1=2004
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1,3
#количество потоков
collector.capture.flow.port.1.thread.count=10
.....


По-моему, трафик не обрабатывается, если пытаемся получить netflow с нескольких источников:
Код:
collector.capture.flow.port.1.sources=1,3

Если оставить в sources только один источник
Код:
collector.capture.flow.port.1.sources=1

, то dataloader.log начинает наполняться строками.
Автор:  mash55 [ 04 дек 2012, 12:02 ]
Заголовок сообщения:  Re: Не считается трафик
вернулся обратно на
Код:
collector.capture.flow.port.1.sources=1,3


Источник 3 загружается, но не обрабатывается, даже если принудительно запустить обработку источника через "Добавить в обработку"
Код:
# tail loader.log
12-04/11:44:35  INFO [hrlydtlggr-p-2-t-1] HourlyDataLoggerTracker - Remove dataLog file from writers map [/usr/local/BGIPNNetflowCollector/null/source_3/2012/2012-12/2012-12-04/log_2012-12-04-11.002.bgdl]
12-04/11:44:37  INFO [hrlydtlggr-p-2-t-1] HourlyDataLoggerTracker - Close dataLog file [/usr/local/BGIPNNetflowCollector/null/source_1/2012/2012-12/2012-12-04/log_2012-12-04-11.002.bgdl]
12-04/11:44:38  INFO [flow-p-3-t-9] HourlyDataLogEntry - Create dataLog file: /usr/local/BGIPNNetflowCollector/null/source_1/2012/2012-12/2012-12-04/log_2012-12-04-11.003.bgdl
12-04/11:44:39  INFO [hrlydtlggr-p-2-t-1] HourlyDataLoggerTracker - Close dataLog file [/usr/local/BGIPNNetflowCollector/null/source_3/2012/2012-12/2012-12-04/log_2012-12-04-11.002.bgdl]
12-04/11:44:39  INFO [flow-p-3-t-8] HourlyDataLogEntry - Create dataLog file: /usr/local/BGIPNNetflowCollector/null/source_3/2012/2012-12/2012-12-04/log_2012-12-04-11.003.bgdl
12-04/11:52:35  INFO [hrlydtlggr-p-2-t-1] HourlyDataLoggerTracker - Checking data log files to close [hours=166]...
12-04/12:00:02  INFO [flow-p-3-t-3] HourlyDataLogEntry - Create dataLog file: /usr/local/BGIPNNetflowCollector/null/source_1/2012/2012-12/2012-12-04/log_2012-12-04-12.000.bgdl
12-04/12:00:04  INFO [flow-p-3-t-8] HourlyDataLogEntry - Create dataLog file: /usr/local/BGIPNNetflowCollector/null/source_3/2012/2012-12/2012-12-04/log_2012-12-04-12.000.bgdl
12-04/12:00:11  INFO [hrlydtlggr-p-2-t-1] HourlyDataLoggerTracker - Close dataLog file [/usr/local/BGIPNNetflowCollector/null/source_1/2012/2012-12/2012-12-04/log_2012-12-04-11.003.bgdl]
12-04/12:00:12  INFO [hrlydtlggr-p-2-t-1] HourlyDataLoggerTracker - Close dataLog file [/usr/local/BGIPNNetflowCollector/null/source_3/2012/2012-12/2012-12-04/log_2012-12-04-11.003.bgdl]

# tail detail.log
12-03/16:34:33  WARN [Low Memory Detector] AlarmSender - Low memory - used=214795096, max=266403840
12-03/18:09:23  WARN [Low Memory Detector] AlarmSender - Low memory - used=212554992, max=266403840
12-03/20:05:14  WARN [Low Memory Detector] AlarmSender - Low memory - used=213995344, max=266403840
12-03/21:59:01  WARN [Low Memory Detector] AlarmSender - Low memory - used=216078288, max=266403840
12-04/00:07:04  WARN [Low Memory Detector] AlarmSender - Low memory - used=212773360, max=266403840
12-04/02:00:15  WARN [Low Memory Detector] AlarmSender - Low memory - used=230190536, max=266403840
12-04/04:16:03  WARN [Low Memory Detector] AlarmSender - Low memory - used=213495560, max=266403840
12-04/06:04:39  WARN [Low Memory Detector] AlarmSender - Low memory - used=214091136, max=266403840
12-04/08:33:48  WARN [Low Memory Detector] AlarmSender - Low memory - used=217404504, max=266403840
12-04/10:30:25  WARN [Low Memory Detector] AlarmSender - Low memory - used=221061136, max=266403840

# tail dataloader.log
12-04/08:33:48  WARN [Low Memory Detector] AlarmSender - Low memory - used=217404504, max=266403840
12-04/09:00:45  INFO [Thread-13] dataloader - Processing source:1 time: 2012-12-04 08:00:00.0
12-04/09:00:48  INFO [Thread-13] dataloader - proccess [ 04-12-2012 08:00:00; mid => 1; param => 1 ]  Bean create => 866 Processed lines => 13560; inserts => 15; errors => 0; time => 1816 ms.
12-04/10:00:39  INFO [Thread-13] dataloader - Processing source:1 time: 2012-12-04 09:00:00.0
12-04/10:00:44  INFO [Thread-13] dataloader - proccess [ 04-12-2012 09:00:00; mid => 1; param => 1 ]  Bean create => 550 Processed lines => 42185; inserts => 23; errors => 0; time => 4818 ms.
12-04/10:30:25  WARN [Low Memory Detector] AlarmSender - Low memory - used=221061136, max=266403840
12-04/11:02:09  INFO [Thread-13] dataloader - Processing source:1 time: 2012-12-04 10:00:00.0
12-04/11:02:24  INFO [Thread-13] dataloader - proccess [ 04-12-2012 10:00:00; mid => 1; param => 1 ]  Bean create => 540 Processed lines => 120990; inserts => 21; errors => 0; time => 14093 ms.
12-04/12:00:15  INFO [Thread-13] dataloader - Processing source:1 time: 2012-12-04 11:00:00.0
12-04/12:00:19  INFO [Thread-13] dataloader - proccess [ 04-12-2012 11:00:00; mid => 1; param => 1 ]  Bean create => 720 Processed lines => 58812; inserts => 22; errors => 0; time => 3783 ms.
Автор:  mash55 [ 05 дек 2012, 00:09 ]
Заголовок сообщения:  Re: Не считается трафик
Пока что опытным путем установил, что если убрать опцию
Код:
process=1

то трафик точно не будет обрабатываться, т.к. в collector.log тогда появляется
Код:
INFO [main] Collector - Load => true; process => false


С включенной опцией пишет "process => true", но обрабатывать все равно не хочет.
Автор:  mash55 [ 13 дек 2012, 13:48 ]
Заголовок сообщения:  Re: Не считается трафик
интересно, а в dataloader.log
addAmount 125647_853_101 => 96
125647 - это точно id из contract?

У меня id максимум двузначные, а это число скачкообразно растет, затем, дойдя до 32000, обнуляется.
Код:
# cat dataloader.log | grep LINE
 10118  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10119  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10120  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10121  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10122  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10123  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10124  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10125  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;900;5;1054
 10126  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;919
 10127  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 28662;910;6;156
 10128  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;900;5;347
 10129  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;900;5;125
 10130  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;900;5;96
 10131  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;910;6;134
 10132  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;910;6;134
 10133  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;910;6;182
 10134  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;910;6;134
 10135  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;900;5;387
 10136  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;910;6;134
 10137  12-13/14:27:58 DEBUG [Thread-13] dataloader - LINE 29555;900;5;395
Автор:  mash55 [ 13 дек 2012, 14:10 ]
Заголовок сообщения:  Re: Не считается трафик
если кому еще интересно, то в случае обработки netflow с двух источников (у меня №1 и №3) правильный конфиг (привожу основную часть) должен быть таким:

---------------------------------------------
#директория логов
log.dir=null
load=1
process=1

#порт
collector.capture.flow.port.1=2004
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1,3
#количество потоков
collector.capture.flow.port.1.thread.count=10
---------------------------------------------
Автор:  max [ 07 янв 2013, 02:41 ]
Заголовок сообщения:  Re: Не считается трафик
stark писал(а):
Удалите из обработки и заново добавьте . Что при этом пишет в логах планировщика .

А играет роль что планировщик находится на другом хосте относительно netflow коллектора?
Автор:  mash55 [ 13 мар 2013, 22:54 ]
Заголовок сообщения:  Re: Не считается трафик
max, а DataLoader у тебя запустился?
Код:
ps -ax | grep DataLoader
Автор:  max [ 14 мар 2013, 00:32 ]
Заголовок сообщения:  Re: Не считается трафик
да.
Автор:  mash55 [ 14 мар 2013, 08:40 ]
Заголовок сообщения:  Re: Не считается трафик
При переводе в режим DEBUG (файл log4j-collector.xml) в dataloader.log пусто?
У меня там почему-то кроме
Код:
# cat dataloader.log
03-14/09:35:57 ERROR [Thread-12] LoggingPrintStream - Thu Mar 14 09:35:57 YEKT 2013 WARN: Invalid value {1} for server variable named {0}, falling back to sane default of {2}.

ничего не появляется.
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/