forum.bitel.ru • Просмотр темы - BGIPNNetflowCollector v4.6

Сообщения без ответов | Активные темы

Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]

BGIPNNetflowCollector v4.6 - вопрос

Страница 1 из 1

[ Сообщений: 16 ]

Версия для печати

Пред. тема | След. тема

Автор

Сообщение

mazay-d

Заголовок сообщения: BGIPNNetflowCollector v4.6 - вопрос

Добавлено: 07 апр 2009, 17:50

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10

Полсе запуска BGIPNNetflowCollector_4.6_147 в логе scheduler.log
ошибка, что она означает:

Код:

04-07/15:45:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 2 bitel.billing.server.ipn.LogCalculator
04-07/15:45:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 4 bitel.billing.server.dialup.MaxCalculator
04-07/15:45:03 ERROR [pool-2-thread-1] LogCalculator - No data table
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Processing service 4
04-07/15:45:03  INFO [pool-2-thread-1] LogCalculator - Task finished time=7 ms.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Setting balances for independ and subs..
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selected.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selecting sub account
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selected.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Setting balance for super..
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Selected.
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Flush tariff detail...
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Flush tariff detail: [0 records]
04-07/15:45:03  INFO [pool-2-thread-3] MaxCalculator - Task finished time=71 ms.

Вернуться к началу

Amir

Заголовок сообщения:

Добавлено: 07 апр 2009, 18:18

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

Похоже нет таблицы ipn_contract_data за которую проводится переобсчет, т.е. логи за месяц переобсчета не обработаны.

Вернуться к началу

mazay-d

Заголовок сообщения:

Добавлено: 07 апр 2009, 18:31

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10

Точно, нет и в последнем дампе тож :cry:

Дайте табличку, пожалуйста

:oops:

Вернуться к началу

Amir

Заголовок сообщения:

Добавлено: 07 апр 2009, 18:38

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

В дампе этого нет, она появляется после первой обработки логов за месяц. Может быть просто на закладке Начисление не за тот месяц начисление запустили?

Вернуться к началу

mazay-d

Заголовок сообщения:

Добавлено: 07 апр 2009, 19:01

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10

Попробовал запустить еще раз, таблица в базе не появляется, вот логи:

Код:

04-07/16:54:21  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.ipn.IPNRecalculator@5ab6e2e3
04-07/16:54:21 ERROR [pool-1-thread-3] LogCalculator - No data table
04-07/16:54:21  INFO [pool-1-thread-3] LogCalculator - Task finished time=5 ms.




04-07/16:55:34  WARN [Finalizer] BGDataLog - DataLog was open on finalize! /work2/netflow/source_1/2009/2009-04/2009-04-05/log_2009-04-05-00.000.bgdl
04-07/16:55:51  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.ipn.IPNRecalculator@306715f8
04-07/16:55:51 ERROR [pool-1-thread-4] LogCalculator - No data table
04-07/16:55:51  INFO [pool-1-thread-4] LogCalculator - Task finished time=6 ms.


04-07/16:57:01  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.ipn.MaxRecalculator@19cdbc83
04-07/16:57:01  INFO [pool-1-thread-5] MaxCalculator - Processing service 8
04-07/16:57:01  INFO [pool-1-thread-5] MaxCalculator - Setting balances for independ and subs..
04-07/16:57:01  INFO [pool-1-thread-5] MaxCalculator - Selected.
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Selecting sub account
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Selected.
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Setting balance for super..
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Selected.
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Flush tariff detail...
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Flush tariff detail: [0 records]
04-07/16:57:02  INFO [pool-1-thread-5] MaxCalculator - Task finished time=225 ms.
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 2 bitel.billing.server.ipn.LogCalculator
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 3 bitel.billing.server.ipn.MaxCalculator
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 4 bitel.billing.server.dialup.MaxCalculator
04-07/17:00:03  INFO [Thread-5] TaskExecuter - Starting periodic taks ID: 8 bitel.billing.server.ipn.IPNTestGates
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Processing service 8
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Processing service 4
04-07/17:00:03 ERROR [pool-2-thread-3] LogCalculator - No data table
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Setting balances for independ and subs..
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Flush tariff detail...
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Flush tariff detail: [0 records]
04-07/17:00:03  INFO [pool-2-thread-3] LogCalculator - Task finished time=6 ms.
04-07/17:00:03  INFO [pool-2-thread-4] IPNTestGates - Locked clients:
04-07/17:00:03  INFO [pool-2-thread-4] IPNTestGates -
04-07/17:00:03  INFO [pool-2-thread-4] IPNTestGates - Task finished time=11 ms.
04-07/17:00:03  INFO [pool-2-thread-1] MaxCalculator - Task finished time=11 ms.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Setting balances for independ and subs..
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selected.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selecting sub account
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selected.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Setting balance for super..
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Selected.
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Flush tariff detail...
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Flush tariff detail: [0 records]
04-07/17:00:03  INFO [pool-2-thread-2] MaxCalculator - Task finished time=135 ms.

Вернуться к началу

stark

Заголовок сообщения:

Добавлено: 07 апр 2009, 19:30

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

у вас коллектор логи обрабатывает ? в его настройках стоит process=1? ..дайте настройки вашего коллектора

Вернуться к началу

mazay-d

Заголовок сообщения:

Добавлено: 07 апр 2009, 19:34

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10

Вот и добрались и до коллектора, походу не обрабатывает он логи.
Настройки коллектора:

Код:

port.admin=2003

#\u043a\u043e\u0434 \u043c\u043e\u0434\u0443\u043b\u044f IPN
collector.mid=2

#\u043e\u043f\u0446\u0438\u0438 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043a \u0411\u0414
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.10.5/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

load=1
process=1

#\u043f\u043e\u0440\u0442
collector.capture.flow.port.1=2004
#\u0442\u0438\u043f \u0441\u043b\u0443\u0448\u0430\u0442\u0435\u043b\u044f
collector.capture.flow.port.1.type=netflow
#\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u043d\u0430 \u043f\u043e\u0440\u0442\u0443 \u0438\u0441\u0442\u043e\u0447\u0
collector.capture.flow.port.1.sources=1,2
#\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0442\u043e\u043a\u043e\u0432
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=0
#collector.capture.flow.port.2.thread.count=10

#\u043e\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0442\u0435\u043b\u044c snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#\u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430
datalog.chunk.size=524288
#\u0441\u0436\u0430\u0442\u0438\u0435 \u043b\u043e\u0433\u043e\u0432
#datalog.flow.compression.type=1
#datalog.flow.compression.level=1
log.dir=/work2/netflow

Вложения:

Coll-1.jpg [ 119.8 КБ | Просмотров: 6853 ]

Вернуться к началу

stark

Заголовок сообщения:

Добавлено: 07 апр 2009, 19:37

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

логи коллектора тоже нужны

Вернуться к началу

mazay-d

Заголовок сообщения:

Добавлено: 07 апр 2009, 19:43

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10

Все логи коллектора

Вложения:

NetflowCollector.zip [2.1 КБ]
Скачиваний: 239

Вернуться к началу

Amir

Заголовок сообщения:

Добавлено: 07 апр 2009, 20:01

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

Попробуйте такой конфиг, надо sources= указать для источников, логи которых необходимо обрабатывать. Не успели доку с этим выложить

Код:

port.admin=2003

#код модуля IPN
collector.mid=2 

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver 
db.url=jdbc:mysql://192.168.10.5/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false 
db.user=bill 
db.pswd=bgbilling 
db.maxActive=300 
db.maxIdle=100 

load=1

process=1 
sources=1,2

#порт
collector.capture.flow.port.1=2004 
#тип слушателя
collector.capture.flow.port.1.type=netflow 
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1,2
#количество потоков
collector.capture.flow.port.1.thread.count=10 
# 
#collector.capture.flow.port.2=2005 
#collector.capture.flow.port.2.type=sflow 
#collector.capture.flow.port.2.sources=0 
#collector.capture.flow.port.2.thread.count=10 

#опрашиватель snmp
#collector.capture.snmp=1 
#collector.capture.snmp.sources=1 

#размер блока
datalog.chunk.size=524288 
#сжатие логов
#datalog.flow.compression.type=1 

log.dir=/work2/netflow

Вернуться к началу

mazay-d

Заголовок сообщения:

Добавлено: 07 апр 2009, 20:10

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10

Была же мысль конфиг по аналогии с 4.5 сделать, но остановили хитрые опции в дистрибутиве. Еще хотел вопрос по этому поводу задать. Сейчас все нормально, запустил переобсчет, табличка появилась, ошибок пока нет. И деталки пришли на почту. Будем смотреть дальше. Спасибо!

Вернуться к началу

agv

Заголовок сообщения: Ошибка старта модуля ./netflow_start.sh

Добавлено: 08 апр 2009, 12:29

Зарегистрирован: 06 июн 2008, 11:48
Сообщения: 28
Откуда: Магадан
Карма: 0

Запустили все модули, а вот IPN пишит ошибку:

java.net.SocketTimeoutException: Receive timed out
at java.net.PlainDatagramSocketImpl.receive0(Native Method)
at java.net.PlainDatagramSocketImpl.receive(Unknown Source)
at java.net.DatagramSocket.receive(Unknown Source)
at bitel.billing.server.netflow.ipn.Collector.executeCommand(Collector.java:288)
at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:249)

Просьба указать причину...

Вернуться к началу

stark

Заголовок сообщения: Re: Ошибка старта модуля ./netflow_start.sh

Добавлено: 08 апр 2009, 16:34

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

agv писал(а):

похоже на то, что вы запустили стоп или статус колетора, а колектор в это время был остановлен ..т.е не получилось отправить команду работающему коллектору.

Вернуться к началу

tiffolk

Заголовок сообщения:

Добавлено: 09 апр 2009, 00:48

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0

И у меня ошибка:
При запуске:

Код:

bill:/usr/local/BGIPNNetflowCollector# ./netflow.sh status
log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup).
log4j:WARN Please initialize the log4j system properly.
Traffic collector for IPN v 4.6 build 148 from 08.04.2009 17:59:47
Started: 08.04.2009 22:39:28    Uptime: 0 d 00:00:02
Memory total: 5 177 344; max: 266 403 840; free: 3 154 488
FlowListener: queue_size: 0; threads_active: 0; largest: 1; core: 8; pool_size: 1; recv_socket_buf_size: 131 071; recv_buf_size: 8 388 608; packets: 2
Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@2bb514 [files: 1]

Однако коллектор поток принимает, пробовал сделать save -выдал все в файл, как обычно.

netflow_ipn.properties

Код:

port.admin=2003
port.netflow=9996

#код модуля IPN
collector.mid=1

#частота генерации заданий в минутах
#если опция не указана - генерация происходит только на границе часа
#generate.minutes=30

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#где хранить логи (папка должна существовать и должны быть полные права на неё для процесса коллектора)
log.dir=/bill/bill_logs
#обслуживаемые источники (через запятую коды источников биллинга которые обслуживает данный коллектор)
#коллектор принимает потоки и обрабатывает логи только этих источников
sources=1
#загружать логи
load=1
#обрабатывать логи
process=1

collector.log

Код:

04-08/22:39:27  INFO [main] DefaultServerSetup - Init DB connection pools
04-08/22:39:27  INFO [main] DefaultServerSetup - Init trash pools..
04-08/22:39:27  INFO [main] Collector - Starting flow collector for IPN...
04-08/22:39:27  INFO [main] Collector - Load => true; process => true
04-08/22:39:27  INFO [main] collector - Reload source list [types: netflow,sflow; sourceIds: 1]
04-08/22:39:27  INFO [main] collector - IP: 10.161.9.1 => 1
04-08/22:39:27  INFO [main] Collector - Starting FlowListener on port 9996 [recv_buf_size=8388608]
04-08/22:39:27  INFO [main] DatagramChannelListener - Open socket [0.0.0.0/0.0.0.0:9996]
04-08/22:39:27  INFO [main] DatagramChannelListener - ru.bitel.bgbilling.modules.ipn.collector.IPNFlowListener$2 socket init ok.
04-08/22:39:30  INFO [Thread-9] collector - Admin command: status

В сотальных все пусто.[/b]

Вернуться к началу

tiffolk

Заголовок сообщения:

Добавлено: 09 апр 2009, 16:38

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0

ап

Вернуться к началу

Amir

Заголовок сообщения:

Добавлено: 09 апр 2009, 17:30

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

Цитата:

Код:

log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup). 
log4j:WARN Please initialize the log4j system properly.

Это не ошибка, уберем в следующем билде.

Вернуться к началу

Страница 1 из 1

[ Сообщений: 16 ]

Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:

BiTel

BGIPNNetflowCollector v4.6 - вопрос

Кто сейчас на конференции