forum.bitel.ru
http://forum.bitel.ru/

NetFlow Collector & Data_loader
http://forum.bitel.ru/viewtopic.php?f=22&t=113
Страница 1 из 2

Автор:  SPY [ 21 фев 2007, 19:39 ]
Заголовок сообщения:  NetFlow Collector & Data_loader

Уважаемые разработчики, Вы не моглибы по-подробнее расписать принцип работы участка биллинга, где логи передаются от коллектора к обработчику. У меня следующие вопросы:

При настройках "по умолчанию" коллектор и обработчик вроде бы запущены- в папке с логами появляются каждый час двоичные файлы, полученный коллектором, но что с ними должно происходить дальше? Data_loader запущен и в dataloader.out отображено вот это:
Checking port 9033...
Port is free starting the applicalion...
Starting DLProcessManager on 9033
Creating socket on 9033
Executing status
Для Коллектора:
INFO 20.02.2007 19:11:27 Starting BG NetFlow collector for IPN..
INFO 20.02.2007 19:11:27 Reload source list.
INFO 20.02.2007 19:11:27 IP: ***.***.***.*** => 1
INFO 20.02.2007 19:11:27 Load => true; process => true
INFO 20.02.2007 19:11:27 Starting NetFlow listener on port 2004
INFO 20.02.2007 19:11:28 Admin command: status
INFO 20.02.2007 20:00:00 FLUSH 1
INFO 20.02.2007 21:00:12 FLUSH 1
INFO 20.02.2007 22:00:08 FLUSH 1

Что означает переодически появляющаяся надпись FLUSH 1?

Заранее благодарен, очень жду ответа.

Автор:  SPY [ 21 фев 2007, 21:26 ]
Заголовок сообщения: 

Забыл указать еще одну делать, в файле dataloader.log
INFO 21.02.2007 16:00:38 Processing source:1 time: 2007-02-21 15:00:00.0
INFO 21.02.2007 16:00:38 proccess [ 21-02-2007 15:00:00; mid => 1; param => 1 ] Bean create => 1 Processed lines => 8082; inserts => 0; errors => 0; time => 10 ms.
INFO 21.02.2007 17:00:39 Processing source:1 time: 2007-02-21 16:00:00.0
INFO 21.02.2007 17:00:39 proccess [ 21-02-2007 16:00:00; mid => 1; param => 1 ] Bean create => 11 Processed lines => 5416; inserts => 0; errors => 0; time => 23 ms.
INFO 21.02.2007 18:00:38 Processing source:1 time: 2007-02-21 17:00:00.0
INFO 21.02.2007 18:00:38 proccess [ 21-02-2007 17:00:00; mid => 1; param => 1 ] Bean create => 27 Processed lines => 5333; inserts => 0; errors => 0; time => 33 ms.

А когда соединяешься клиентом с базой(или сервером) то в меню модули->IPN->менеджер источников все квадратики по часам снятия статистики показаны как загруженные и обработанные, это нормально?

Если я зря поднимаю панику, подскажите пожалуйста как получить детальный отчет по всему проходящему трафику (по всем адресам) если в опциях привязки услуг отмечено обрабатывать все адреса сети C (255.255.255.0)

Автор:  Администратор [ 22 фев 2007, 10:24 ]
Заголовок сообщения: 

Укажите версию биллинга.

Автор:  SPY [ 22 фев 2007, 16:32 ]
Заголовок сообщения: 

Да, пардон, забыл про версию: Bg-Billing V 4.0

Автор:  SPY [ 22 фев 2007, 16:57 ]
Заголовок сообщения: 

Тогда сразу еще вопрос про: как встаки сделать обсчет трафика, правильная ли у меня последовательность действий: сначала создаем тариф, затем создаем договор, в нем указываем тариф, затем в пункте модули->IPN указываем привязку к диапазону адресов?

только вот незадача: при попытке добавить диапазон адресов постоянно выходит сообщение "Ошибка запроса", я замучался уже перебирать варианты. Подскажите где глюк?

Автор:  Администратор [ 22 фев 2007, 17:22 ]
Заголовок сообщения: 

А источник к диапазону привязываете? По обработке логов: в 4.0 DataLoader вообще не должен обрабатывать логи источников типа NetFlow. Тип источника правильно стоит?

Автор:  SPY [ 22 фев 2007, 18:14 ]
Заголовок сообщения: 

Насчет привязки. Вот как сделано у меня:
Модули -> IPN ->Источники : тип источника netflow, указан адрес киски, и наименование истояника.
Привязка услуг: назначение-входящие, источник cisco, интерфейс - любой.

Это все, что, судя по ману, надо было настраивать. Может что-то забыл?

Насчет DataLoader: мне думается, что коллектор собирает логи с циски, расшифровывавет двоичные данные и кладет в папки по дате, а далее ДатаЛоадер эти данные обрабатывает, может я не опять прав?

Автор:  Администратор [ 22 фев 2007, 18:24 ]
Заголовок сообщения: 

Цитата:
Насчет привязки. Вот как сделано у меня:
Модули -> IPN ->Источники : тип источника netflow, указан адрес киски, и наименование истояника.
Привязка услуг: назначение-входящие, источник cisco, интерфейс - любой.

А вы можете выложить скрин диапазона адресов перед его неудачным сохранением?
Цитата:
Насчет DataLoader: мне думается, что коллектор собирает логи с циски, расшифровывавет двоичные данные и кладет в папки по дате, а далее ДатаЛоадер эти данные обрабатывает, может я не опять прав?

Нет, коллектор же их и обрабатывает. В него встроен обработчик. Вообще если вы привели содержимое лога dataloader из BGIPNNetflowCollector/log то все у вас корректно работает.

Автор:  SPY [ 22 фев 2007, 18:43 ]
Заголовок сообщения: 

Изображение

Автор:  SPY [ 22 фев 2007, 19:09 ]
Заголовок сообщения: 

Вот насчет обработчика netflow.
Заранее благодарен, надеюсь мою проблему решить реально
Изображение

Автор:  SPY [ 22 фев 2007, 21:23 ]
Заголовок сообщения: 

У меня есть предчувствие, что логи должен загружать шедуллер? Или я ошибаюсь? Уважаемые разработчики и администратор, где можно узнать в каком формате необходимо указывать время в шуделлере?

Автор:  SPY [ 24 фев 2007, 23:55 ]
Заголовок сообщения: 

Господа разработчики, проблема по прежднему актуальна! Я перерыл всю документацию по биллингу, но решение найти самостоятельно так и не получилось.

Автор:  Администратор [ 26 фев 2007, 09:54 ]
Заголовок сообщения: 

В вашем источнике нет интерфейса ANY.. Вообще привязка идет не к источнику а к каким-либо его интерфейсам либо фиктивному интерфейсу ANY. Либо у вас дерево не дораскрыто..

Автор:  SPY [ 26 фев 2007, 19:18 ]
Заголовок сообщения: 

Да, дело было действительно в том, что отсутствовал интерфейс маршрутизатора. Большое спасибо за рекомендации, однако вопросы не иссякают и хочу спросить вот еще что: я никак не могу добраться до получения готовой статистики по трафику, насколько я понял отчет должен находиться на вкладке "Параметры" договора ? На вкладке "Модуль IPN"-> "Менеджер истояников" на диаграмме указано, что вся информация обработана. Что я забыл :( ?

Автор:  Администратор [ 26 фев 2007, 19:28 ]
Заголовок сообщения: 

Нет, отчет должен располагаться на закладке Отчет, это в верхнем ряду закладок в карточке договора. А там в нижнем ряду выбирается нужный модуль.

Автор:  SPY [ 26 фев 2007, 19:57 ]
Заголовок сообщения: 

Вот столкнулся еще с проблемой: в настройках договора, при попытке положить на счет некую сумму (договор -> баланс -> приход ->новый элемент) в открывающемся окошке нет вариантов "тип", соответственно добавление становится невозможным. Что это за "тип" и как его создать?

Автор:  Администратор [ 26 фев 2007, 19:58 ]
Заголовок сообщения: 

Типы платежей. Справочники - Другие. Первый справочник.

Автор:  SPY [ 26 фев 2007, 21:21 ]
Заголовок сообщения: 

Да, насчет справочников разобрался, спасибо! Но проблема с отображением статистики так и осталась :( хоть по адресам, хоть по услугам....

Автор:  SPY [ 27 фев 2007, 22:01 ]
Заголовок сообщения: 

Ура господа! Я понял свою ошибку и попытаюсь изложить суть решения проблемы здесь, чтобы никто не напоролся больше на неё.
Итак, для ксперимента в настройках модуля IPN я создал несколько услуг (входящий трафик, исходящий и т.д....) Далее, при настройке привязки услуг (моя сеть 10.111.0.0-10.111.0.255) я ввел в поле диапазон адресов как раз диапазон моей сети - это ошибка! таким образом можно подсчитать трафик только м/у компьютерами в сети но не внешний трафик! Для того, чтобы вести подсчет внешнего трафика в настройках привязки услуг необходимо указать диапазон 0.0.0.0 - 0.0.0.0. Именно из-за этого недочета в логах могут появляться сообщения о том, что услуга не найдена - потому что приходят пакеты от узлов, лежащих за пределами указанного диапазона, и не попадающие под описание услуг.
Вобщем желаю, чтобы этой проблемы ни у кого не возникло!

Автор:  SPY [ 27 фев 2007, 22:13 ]
Заголовок сообщения: 

Возник другой вопрос. Где можно узнать возможные параметры запуска scheduller`а. Дело в том, что при попытке запустить задание по обсчету логов, выводится сообщение param mid NOT found. Что именно трубуется прописать в параметрах запуска задания?

Автор:  Администратор [ 27 фев 2007, 22:44 ]
Заголовок сообщения: 

http://bgbilling.bitel.ru/v4.0/doc/ch07s07.html

Цитата:
Для того чтобы раз в час запускался обсчет логов необходимо добавить задачу Обсчет логов IPN
...
Обратите внимание на строку mid=7 в параметрах задачи. Вместо 7 поставьте код вашего модуля IPN ( можно посмотреть в Модули => Редактор модулей и услуг ).

Автор:  SPY [ 28 фев 2007, 18:17 ]
Заголовок сообщения: 

Спасибо, насчет mid разобрался, вот лог шедуллера.... что-то опять не правильно.... только что?

ERROR 28.02.2007 15:10:01 [15:10:01; 1] contract => Contract: Пробный договор; limit: 0.0; mode: CREDIT
ERROR 28.02.2007 15:10:01 [15:10:01; 1] Request accepted => false relevance => -1 REQ: amount => 517591 action => calculate sid => 1 part => 0.071428575 time => 28.02.2007 14:00:00 cid => 1 RESP: HIST: wasn't accepted!
ERROR 28.02.2007 15:10:01 [15:10:01; 1] contract => Contract: 0; limit: -1000.0; mode: CREDIT
ERROR 28.02.2007 15:10:01 [15:10:01; 1] Request accepted => false relevance => -1 REQ: amount => 363915 action => calculate sid => 1 part => 0.035714287 time => 28.02.2007 14:00:00 cid => 2 RESP: HIST: wasn't accepted!
ERROR 28.02.2007 15:10:01 [15:10:01; 1] Processing errors => 2
INFO 28.02.2007 15:10:01 [15:10:01; 1] DELETE sids=-1,1,2,3
INFO 28.02.2007 15:10:01 [15:10:01; 1] time=166 ms.

Автор:  Администратор [ 28 фев 2007, 18:55 ]
Заголовок сообщения: 

Ошибки при начислении, что-то неверно в тарифе. Выложите скрин.

Автор:  SPY [ 28 фев 2007, 19:12 ]
Заголовок сообщения: 

Изображение

Автор:  Администратор [ 28 фев 2007, 19:21 ]
Заголовок сообщения: 

1) Услуга весь трафик имеет код 1?
2) Как должен считать данный тариф?

Автор:  SPY [ 28 фев 2007, 19:28 ]
Заголовок сообщения: 

В настройках модуля IPN услуга "Весь трафик имеет позицию 3"
Тариф должен работать след. образом: в абонентскую плату включено 1000 мб трафика, каждый мегабайт в пределах данного объема стоит 1 р. сверх этого стоит 2 р.

Автор:  Администратор [ 01 мар 2007, 12:30 ]
Заголовок сообщения: 

1) У вас есть наработка по услуге с кодом 1, нужно завести на нее тоже цену в тарифе.
2) Чтобы сделать тариф как у вас просто добавьте в узел услуга диапзон 1000, в нем цену 1 руб за мб, после первого диапазона добавьте еще один 0 и в нем цену 2 руб за мб.

Автор:  SPY [ 19 апр 2007, 19:15 ]
Заголовок сообщения: 

Снова вопросы, снова проблемы:
Уважаемый, Администратор, подскажите пожалуйста:
1) Если я создаю договор, затем в модуле IPN задаю обсчет трафика с ip "1", могу я в другом договоре обсчитывать диапазон ip, в который входит ip "1"?
2) По непонятной мне причине при создании двух аблотютно одинаковых по параметрам договоров, за исключением диапазона обсчитываемых ip, обсчет трафика одного из договоров не производится, в чем может быть причина? Время создания договоров разное, интервал полмесяца. Может в этот момент закончилась тестовая лицензия? Как об этом узанть, если это так?
3) Как произвести перетарификацию (переобсчет) трафика если клиент перешел на другой тарифный план?
4) Возможно ли с помощью шаблонов счетов и счетов-фактур включить в таблицу информацию о потребленном трафике? Я не очень силен в xml.
5) планируется ли создание модулей для реализации возможности облаты через системы CyberCard и др. Кроме WebMoney, она у Вас уже есть.

Заранее спасибо.

Автор:  Администратор [ 20 апр 2007, 09:58 ]
Заголовок сообщения: 

1) Если только адрес на другом источнике или, как минимум, интерфейсе.
2) Лицензия на обсчет и тарификацию не влияет. Ищите причину в другом.
3) Модули - ИПН (ваш модуль) - Начисление. Просто сделать переначисление за месяц. Если месяц текущий и начисление стоит в планировщике то вообще делать ничего не надо, переобсчет произойдет автоматом.
4) Боюсь что нет, данная информация в счета и фактуры в данный момент не передается просто.
6) Планируется.

Автор:  SPY [ 21 апр 2007, 02:04 ]
Заголовок сообщения: 

Цитата:
Если только адрес на другом источнике или, как минимум, интерфейсе.

Тогда подскажите пожалуйста, как например огранизовать подсчет трафика по конкретному ip и по подсети вцелом одновременно? То, что Вы написали, думается, исключает такую возможность путем создания нескольких договоров. Как быть?

Страница 1 из 2 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/