forum.bitel.ru
http://forum.bitel.ru/

BGIPNNetflowCollector v4.6 - вопрос
http://forum.bitel.ru/viewtopic.php?f=7&t=2146
Страница 1 из 1

Автор:  mazay-d [ 07 апр 2009, 17:50 ]
Заголовок сообщения:  BGIPNNetflowCollector v4.6 - вопрос

Полсе запуска BGIPNNetflowCollector_4.6_147 в логе scheduler.log
ошибка, что она означает:
Код:
04-07/15:45:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 2 bitel.billing.server.ipn.LogCalculator
04-07/15:45:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 4 bitel.billing.server.dialup.MaxCalculator
04-07/15:45:03 ERROR [pool-2-thread-1] LogCalculator - No data table
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Processing service 4
04-07/15:45:03  INFO [pool-2-thread-1] LogCalculator - Task finished time=7 ms.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Setting balances for independ and subs..
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selected.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selecting sub account
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selected.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Setting balance for super..
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selected.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Flush tariff detail...
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Flush tariff detail: [0 records]
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Task finished time=71 ms.

Автор:  Amir [ 07 апр 2009, 18:18 ]
Заголовок сообщения: 

Похоже нет таблицы ipn_contract_data за которую проводится переобсчет, т.е. логи за месяц переобсчета не обработаны.

Автор:  mazay-d [ 07 апр 2009, 18:31 ]
Заголовок сообщения: 

Точно, нет и в последнем дампе тож :cry:

Дайте табличку, пожалуйста

:oops:

Автор:  Amir [ 07 апр 2009, 18:38 ]
Заголовок сообщения: 

В дампе этого нет, она появляется после первой обработки логов за месяц. Может быть просто на закладке Начисление не за тот месяц начисление запустили?

Автор:  mazay-d [ 07 апр 2009, 19:01 ]
Заголовок сообщения: 

Попробовал запустить еще раз, таблица в базе не появляется, вот логи:
Код:
04-07/16:54:21  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.ipn.IPNRecalculator@5ab6e2e3
04-07/16:54:21 ERROR [pool-1-thread-3] LogCalculator - No data table
04-07/16:54:21  INFO [pool-1-thread-3] LogCalculator - Task finished time=5 ms.




04-07/16:55:34  WARN [Finalizer] BGDataLog - DataLog was open on finalize! /work2/netflow/source_1/2009/2009-04/2009-04-05/log_2009-04-05-00.000.bgdl
04-07/16:55:51  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.ipn.IPNRecalculator@306715f8
04-07/16:55:51 ERROR [pool-1-thread-4] LogCalculator - No data table
04-07/16:55:51  INFO [pool-1-thread-4] LogCalculator - Task finished time=6 ms.


04-07/16:57:01  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.ipn.MaxRecalculator@19cdbc83
04-07/16:57:01  INFO [pool-1-thread-5] MaxCalculator - Processing service 8
04-07/16:57:01  INFO [pool-1-thread-5] MaxCalculator - Setting balances for independ and subs..
04-07/16:57:01  INFO [pool-1-thread-5] MaxCalculator - Selected.
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Selecting sub account
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Selected.
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Setting balance for super..
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Selected.
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Flush tariff detail...
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Flush tariff detail: [0 records]
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Task finished time=225 ms.
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 2 bitel.billing.server.ipn.LogCalculator
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 3 bitel.billing.server.ipn.MaxCalculator
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 4 bitel.billing.server.dialup.MaxCalculator
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 8 bitel.billing.server.ipn.IPNTestGates
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Processing service 8
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Processing service 4
04-07/17:00:03 ERROR [pool-2-thread-3] LogCalculator - No data table
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Setting balances for independ and subs..
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Flush tariff detail...
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Flush tariff detail: [0 records]
04-07/17:00:03  INFO [pool-2-thread-3] LogCalculator - Task finished time=6 ms.
04-07/17:00:03  INFO [pool-2-thread-4] IPNTestGates - Locked clients:
04-07/17:00:03  INFO [pool-2-thread-4] IPNTestGates -
04-07/17:00:03  INFO [pool-2-thread-4] IPNTestGates - Task finished time=11 ms.
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Task finished time=11 ms.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Setting balances for independ and subs..
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selected.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selecting sub account
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selected.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Setting balance for super..
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selected.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Flush tariff detail...
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Flush tariff detail: [0 records]
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Task finished time=135 ms.

Автор:  stark [ 07 апр 2009, 19:30 ]
Заголовок сообщения: 

у вас коллектор логи обрабатывает ? в его настройках стоит process=1? ..дайте настройки вашего коллектора

Автор:  mazay-d [ 07 апр 2009, 19:34 ]
Заголовок сообщения: 

Вот и добрались и до коллектора, походу не обрабатывает он логи.
Настройки коллектора:
Код:
port.admin=2003

#\u043a\u043e\u0434 \u043c\u043e\u0434\u0443\u043b\u044f IPN
collector.mid=2

#\u043e\u043f\u0446\u0438\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a \u0411\u0414
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.10.5/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

load=1
process=1

#\u043f\u043e\u0440\u0442
collector.capture.flow.port.1=2004
#\u0442\u0438\u043f \u0441\u043b\u0443\u0448\u0430\u0442\u0435\u043b\u044f
collector.capture.flow.port.1.type=netflow
#\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u043d\u0430 \u043f\u043e\u0440\u0442\u0443 \u0438\u0441\u0442\u043e\u0447\u0
collector.capture.flow.port.1.sources=1,2
#\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=0
#collector.capture.flow.port.2.thread.count=10

#\u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u0435\u043b\u044c snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#\u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430
datalog.chunk.size=524288
#\u0441\u0436\u0430\u0442\u0438\u0435 \u043b\u043e\u0433\u043e\u0432
#datalog.flow.compression.type=1
#datalog.flow.compression.level=1
log.dir=/work2/netflow


Вложения:
Coll-1.jpg
Coll-1.jpg [ 119.8 КБ | Просмотров: 6867 ]

Автор:  stark [ 07 апр 2009, 19:37 ]
Заголовок сообщения: 

логи коллектора тоже нужны

Автор:  mazay-d [ 07 апр 2009, 19:43 ]
Заголовок сообщения: 

Все логи коллектора

Вложения:
NetflowCollector.zip [2.1 КБ]
Скачиваний: 239

Автор:  Amir [ 07 апр 2009, 20:01 ]
Заголовок сообщения: 

Попробуйте такой конфиг, надо sources= указать для источников, логи которых необходимо обрабатывать. Не успели доку с этим выложить :(
Код:
port.admin=2003

#код модуля IPN
collector.mid=2

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.10.5/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

load=1

process=1
sources=1,2

#порт
collector.capture.flow.port.1=2004
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1,2
#количество потоков
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=0
#collector.capture.flow.port.2.thread.count=10

#опрашиватель snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#размер блока
datalog.chunk.size=524288
#сжатие логов
#datalog.flow.compression.type=1

log.dir=/work2/netflow

Автор:  mazay-d [ 07 апр 2009, 20:10 ]
Заголовок сообщения: 

Была же мысль конфиг по аналогии с 4.5 сделать, но остановили хитрые опции в дистрибутиве. Еще хотел вопрос по этому поводу задать. Сейчас все нормально, запустил переобсчет, табличка появилась, ошибок пока нет. И деталки пришли на почту. Будем смотреть дальше. Спасибо!

Автор:  agv [ 08 апр 2009, 12:29 ]
Заголовок сообщения:  Ошибка старта модуля ./netflow_start.sh

Запустили все модули, а вот IPN пишит ошибку:

java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:288)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:249)

Просьба указать причину...

Автор:  stark [ 08 апр 2009, 16:34 ]
Заголовок сообщения:  Re: Ошибка старта модуля ./netflow_start.sh

agv писал(а):
Запустили все модули, а вот IPN пишит ошибку:

java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:288)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:249)

Просьба указать причину...

похоже на то, что вы запустили стоп или статус колетора, а колектор в это время был остановлен ..т.е не получилось отправить команду работающему коллектору.

Автор:  tiffolk [ 09 апр 2009, 00:48 ]
Заголовок сообщения: 

И у меня ошибка:
При запуске:

Код:
bill:/usr/local/BGIPNNetflowCollector# ./netflow.sh status
log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup).
log4j:WARN Please initialize the log4j system properly.
Traffic collector for IPN v 4.6 build 148 from 08.04.2009 17:59:47
Started: 08.04.2009 22:39:28    Uptime: 0 d 00:00:02
Memory total: 5 177 344; max: 266 403 840; free: 3 154 488
FlowListener: queue_size: 0; threads_active: 0; largest: 1; core: 8; pool_size: 1; recv_socket_buf_size: 131 071; recv_buf_size: 8 388 608; packets: 2
Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@2bb514 [files: 1]


Однако коллектор поток принимает, пробовал сделать save -выдал все в файл, как обычно.


netflow_ipn.properties
Код:
port.admin=2003
port.netflow=9996

#код модуля IPN
collector.mid=1

#частота генерации заданий в минутах
#если опция не указана - генерация происходит только на границе часа
#generate.minutes=30

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#где хранить логи (папка должна существовать и должны быть полные права на неё для процесса коллектора)
log.dir=/bill/bill_logs
#обслуживаемые источники (через запятую коды источников биллинга которые обслуживает данный коллектор)
#коллектор принимает потоки и обрабатывает логи только этих источников
sources=1
#загружать логи
load=1
#обрабатывать логи
process=1


collector.log
Код:
04-08/22:39:27  INFO [main] DefaultServerSetup - Init DB connection pools
04-08/22:39:27  INFO [main] DefaultServerSetup - Init trash pools..
04-08/22:39:27  INFO [main] Collector - Starting flow collector for IPN...
04-08/22:39:27  INFO [main] Collector - Load => true; process => true
04-08/22:39:27  INFO [main] collector - Reload source list [types: netflow,sflow; sourceIds: 1]
04-08/22:39:27  INFO [main] collector - IP: 10.161.9.1 => 1
04-08/22:39:27  INFO [main] Collector - Starting FlowListener on port 9996 [recv_buf_size=8388608]
04-08/22:39:27  INFO [main] DatagramChannelListener - Open socket [0.0.0.0/0.0.0.0:9996]
04-08/22:39:27  INFO [main] DatagramChannelListener - ru.bitel.bgbilling.modules.ipn.collector.IPNFlowListener$2 socket init ok.
04-08/22:39:30  INFO [Thread-9] collector - Admin command: status


В сотальных все пусто.[/b]

Автор:  tiffolk [ 09 апр 2009, 16:38 ]
Заголовок сообщения: 

ап

Автор:  Amir [ 09 апр 2009, 17:30 ]
Заголовок сообщения: 

Цитата:
Код:
log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup).
log4j:WARN Please initialize the log4j system properly.

Это не ошибка, уберем в следующем билде.

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/