BiTel

Никак не могу добиться обсчёта логов IPN. Не сочтите за флуд ниже привожу детальное описание задачи и чвоих действий. Прошу помогите!

Сеть

1. bgbilling server (10.200.2.103) Linux Fedora core 6
2. WebServer (10.200.1.3) Windows
3. Client network (10.200.0.2-10.200.0.11)
4. Cisco 3620. Interfaces:
e0/0-10.200.0.1/24
e0/1-10.200.1.1/24
e1/0-10.200.2.1/24

Что сделано

1. установлен bgbilling4.1
2. установлен ipcad
3. установлен IPNNetflowCillector

Настройки bgbilling
1. Конфигурация сервера
web.auth.modes=0:1
log.dir.path=/usr/local/BGIPNNetflowCollector/logs

Кстати несмотря на отсутствие разрешения модуля IPN в строке "web.auth.modes=0:1" доступ к страничке у клиента есть

data.properties

port.http=8080
port.admin=2005
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&allowUrlInLocalInfile=true&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxIdle=20
db.maxActive=300

2. IPN (mid=4)

netflow_ipn.properties

port.admin=2003
port.netflow=2004
collector.mid=4
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100
log.dir=/usr/local/BGIPNNetflowCollector/logs
sources=1
load=1
process=1
netflow.thread.count=10

Услуги:
ExternalDown
ExternalUp
LocalDown
LocalUp

Привязки услуг
10 ExternalDown 10.200.1.3
20 ExternalUp 10.200.1.3
30 LocalDown 10.200.0.0-10.200.0.255
31 LocalDown 10.200.2.0-10.200.0.255
40 LocalUp 10.200.0.0-10.200.0.255
41 LocalUp 10.200.2.0-10.200.0.255

Конфигурация модуля
web.menuItem1=IP-статистика (IPN)
web.menuItem2=Управление шлюзом (IPN)
aggregate=1
aggregate.size=1000
aggregate.key=addr,port,iface

Источник
1 Cisco3620
Тип Netflow
адрес 10.200.2.1
Конфигурация источника(повторена на всякий случай в конфе модуля)
aggregate=1
aggregate.size=1000
aggregate.key=addr,port,iface

Интерфейсы для Cisco3620
0 e0/0 Своя зона
1 e0/1 Глобальная зона
2 e1/0 Своя зона

3. Планировщик задач
1 Обсчет логов IPN 0,15,30,45 работает нормальный
2 Проверка шлюзов IPN 0,15,30,45 работает нормальный

4. Справочники
Типы платежей
AMD
Типы расходов
AMD
5. Тарифные планы
IPN
услуга ExternalDown
1.0 за 1 байт
услуга ExternalUp
1.0 за 1 байт

6. Договора

IPN-001 [ ]
режим - дебет
лимит - 0
тарифный план - IPN

Баланс (апрель 2007)
Входящий остаток 0.00
Приход 1000000.00
Наработка 0.00
Расход 0.00
Исходящий остаток 1000000.00

Модули
ipn открыт
услуги
3 ExternalDown
4 ExternalUp
адреса
2 10.200.2.103 - 10.200.2.103 [Cisco3620: e1/0, e0/1, e0/0]

IPN-002 [ ]
то же самое за исключением адреса
2 10.200.0.2 - 10.200.0.11 [Cisco3620: e1/0, e0/1, e0/0]

7. Что имеем
-сеть работает
-доступ к веб серверу есть
-доступ к веб страницам договорв есть
-логи Netflow в указанном каталоге собираются (до вчерашнего дня... сегодня почему то перестали)
-менеджер источников за соответсвующие дни и часы считает логи ЗАГРУЖЕННЫМИ и ОБРАБОТАННЫМИ

И тем не менее балансы договоров остаются НЕИЗМЕННЫМИ

P.S. Извините разметка текста не сохранилась

Трафик по договорам разносится? Т.е. в отчете в договоре видны трафики? Если запустить Модули-ИПН-Начисление что в sheduler.log? Или в server.log (для 4.1 версии, там все пересчеты идут под пранировщиком)?

"Трафик по договорам разносится?"
Если я правильно понимаю смысл вопроса то да.
В смысле я хотел бы чтобы трафик с адреса 10.200.2.103 отражался на балансе договора IPN-001 а с 10.200.0.2-11 на IPN-002.

"Т.е. в отчете в договоре видны трафики?"
В том то и дело что нет

"Если запустить Модули-ИПН-Начисление что в sheduler.log? Или в server.log (для 4.1 версии, там все пересчеты идут под пранировщиком)?"
Логи пересчётов как я понял идут только под планировщиком. У меня версия сервера 4.1.
Содержимое( вернее последние 15 минут перед которым был обеспечен трафик с двух разных адресов) Scheduler.log привожу ниже.

INFO 23.04.2007 13:00:00 Starting [ 13:00:00; 2 ] bitel.billing.server.ipn.IPNTestGates
INFO 23.04.2007 13:00:00 Starting [ 13:00:00; 1 ] bitel.billing.server.ipn.LogCalculator
INFO 23.04.2007 13:00:00 [13:00:00; 2] Locked clients:
INFO 23.04.2007 13:00:00 [13:00:00; 2]
INFO 23.04.2007 13:00:00 [13:00:00; 2] time=49 ms.
INFO 23.04.2007 13:00:00 [13:00:00; 1] Difficult mode INIT
ERROR 23.04.2007 13:00:00 [13:00:00; 1] Tree not found for contract: FreeAddresses
ERROR 23.04.2007 13:00:00 [13:00:00; 1] Trees init errors => 7
INFO 23.04.2007 13:00:00 [13:00:00; 1] Init time => 159 ms
INFO 23.04.2007 13:00:00 [13:00:00; 1] Processing..
INFO 23.04.2007 13:00:00 [13:00:00; 1] Using ready ResultSet..
ERROR 23.04.2007 13:00:00 [13:00:00; 1] Tree not found, contract FreeAddresses
ERROR 23.04.2007 13:00:00 [13:00:00; 1] contract => Contract: IPN-002; limit: 0.0; mode: DEBET
ERROR 23.04.2007 13:00:00 [13:00:00; 1] Request accepted => false relevance => -1 REQ: amount => 1176956 action => calculate sid => 3 time => 21.04.2007 19:00:00 cid => 3 RESP: HIST: wasn't accepted!
ERROR 23.04.2007 13:00:00 [13:00:00; 1] Processing errors => 14
INFO 23.04.2007 13:00:00 [13:00:00; 1] DELETE sids=-1,1,2,3,4
INFO 23.04.2007 13:00:00 [13:00:00; 1] time=291 ms.

Как видно из лога планировщик пытается пересчитать торафик только договора IPN-002.
Почему первый договор не пересчитывается?


И ещё один вопрос. Без всякой видимой причины часовые логи коллектора вдруг перестали заполняться.
Привожу содержимое логов коллектора

netflow.log(out) - пусты

collector.log
INFO 23.04.2007 11:41:51 Starting BG NetFlow collector for IPN..
INFO 23.04.2007 11:41:51 Reload source list.
INFO 23.04.2007 11:41:52 IP: 10.200.2.1 => 1
INFO 23.04.2007 11:41:52 Load => true; process => true
INFO 23.04.2007 11:41:52 Starting NetFlow listener on port 2004
INFO 23.04.2007 13:00:05 FLUSH 1
INFO 23.04.2007 13:00:53 FLUSH 1

dataloader.log
INFO 23.04.2007 12:00:53 Processing source:1 time: 2007-04-23 11:00:00.0
INFO 23.04.2007 12:00:53 proccess [ 23-04-2007 11:00:00; mid => 4; param => 1 ] Bean create => 59 Processed lines => 0; inserts => 0; errors => 0; time => 136 ms.
INFO 23.04.2007 13:00:53 Processing source:1 time: 2007-04-23 12:00:00.0
INFO 23.04.2007 13:00:53 proccess [ 23-04-2007 12:00:00; mid => 4; param => 1 ] Bean create => 15 Processed lines => 0; inserts => 0; errors => 0; time => 40 ms.

generator.log
INFO 23.04.2007 11:41:52 Starting generator process tasks..
INFO 23.04.2007 12:00:52 Generating process tasks..
INFO 23.04.2007 12:00:53 Add process task 4:1 23.04.2007 11
INFO 23.04.2007 12:00:53 Flush loaders..
INFO 23.04.2007 12:00:53 Generate source data..
INFO 23.04.2007 13:00:53 Generating process tasks..
INFO 23.04.2007 13:00:53 Add process task 4:1 23.04.2007 12
INFO 23.04.2007 13:00:53 Flush loaders..
INFO 23.04.2007 13:00:53 Generate source data..

loader.log
INFO 23.04.2007 12:28:38 Make new loader for 1
INFO 23.04.2007 13:00:05 Reinit loaders map..
INFO 23.04.2007 13:00:05 Make new loader for 1

Проблема всё ещё существует. Пожалуйста помогите.
Может недостаточно информации? только скажите

Как я понял у вас даже логи не обрабатываются с появлением трафиков в статистике договоров.
Что в начале collector.log, после:

?

Так я ж привёл в предыдущем сообщении? Посмотрите выше.

Прошу прощения. Тогда похоже что просто потоки NetFlow не идут на порт. Включите в log4j_...properties для коллектора для лога netflow вместо режима INFO ALL, также можете посмотреть приходит ли информация на порт 2004 посредством tcpdump

У меня давно зрел вопрос касаемо модуля IPN, может конечно я что-то упустил из виду, но не думаю. Итак, в конфигурации модуля указан роутер Cisco, указано то, что статистика собирается по Netflow; делаее, создан интерфейс any=-1, а вот далее в списке услуг созданы 3 варианта: входящий трафик, исходящий и весь трафик. Все делалось по документации. Но вот в чем странность - если в договор добавить 2 услуги, например входящий трафик и весь трафик, то в отчете отображается трафик привязанный(или определяемый) только к услуге весь трафик (она была добавлена первой). Возможно дело в том, что обработчик логов netflow коллектора может распределить трафик только по одной услуге? (нечто подобное было если пытаться в разных договорах обсчитывать один и тот же диапазон Ip). Или проблема в другом?
Заранее спасибо.

Подобных проблем ранее не наблюдалось. У вас какая версия биллинга? Было бы очень хорошо, если бы вы воспроизвели ошибку и дали нам доступ.