forum.bitel.ru http://forum.bitel.ru/ |
|
проблема с детализацией трафика http://forum.bitel.ru/viewtopic.php?f=5&t=4072 |
Страница 1 из 1 |
Автор: | Kazrarr [ 24 май 2010, 17:34 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
всем спасибо, моя ошибка в том что вычитал где то в конфигах: loglevel=debug Включил нормальный режим дебага, нашел проблему. Оказалась что проблема была в том что на тестовой машинке один физический интерфейс, а на нем два интерфейса: 192.168.1.1 - дефолтный вилан и 10.0.0.3 - бгб вилан. В конфигурациях я указывал адрес назначения 10.0.0.3:2004 и надеялся что BGIPNNetflowCollector будет корректно их ловить, но он только видел потоки на адрес 192.168.1.1 который не был зарегистрирован. Поправил IP в источниках IPN и сразу все создалось =) |
Автор: | snark [ 24 май 2010, 19:19 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
Kazrarr писал(а): конфиг mpd5: Код: startup: ... # configure netflow set netflow node netflow set netflow hook 2 ... default: ... set iface enable netflow-in netflow-out ... эта нода с этим хуком физически создана? а то может Вы цепляетесь в пустоту ![]() |
Автор: | Kazrarr [ 25 май 2010, 09:26 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
snark писал(а): Kazrarr писал(а): конфиг mpd5: Код: startup: ... # configure netflow set netflow node netflow set netflow hook 2 ... default: ... set iface enable netflow-in netflow-out ... эта нода с этим хуком физически создана? а то может Вы цепляетесь в пустоту ![]() Как раз сижу пытаюсь разобраться в нетграфе что бы понять смысл этих двух строк... UPD: Сама нода создается автоматически скриптом 001-netflow.sh Как выяснить номер хука я так пока и не понял, но в целом осмыслил содержание этих двух строк, благо на статейку наткнулся: http://citrin.ru/netgraph/ которая правда успела уже устареть, но для азов самое то =) пойду дальше рыть )) UPD2: [quote=man mpd5]set netflow hook numberUse ng_netflow(4) node's hooks starting from specified number. For detailed information about naming of hooks, see ng_netflow(4) manual page.[/quote] Получается что это номер хука с которого начнется нумерация хуков, или я что-то не допонял? В целом (пока сам не разроешь все не поймешь:)) кажется я уяснил алгоритм работы, и понятно почему нигде здесь нет ничего толком на эту тему... слишком обширная тема нетграф... Вкратце получается что нода netflow создается автоматически с помощью скрипта из вики... Вместе с ней создается безымянная нода типа ksocket которая через хук inet/dgram/udp передает нетфлоу на адрес указанный в скрипте Получается конфигурация mpd: Код: set netflow node netflow set netflow hook 2 Первая строчка указывает на ноду netflow которой нужно скидывать потоки, а вторая просто указывает что нумерацию хуков надо начинать с 2. Я верно все понял? И из этого выходит что скрипт нетфлоу должен быть запущен первым, а мпд вторым ) итого понятно почему такая нумерация ![]() Теперь остался вопрос, как BGB собирает детализацию трафика? по каким критериям разбирает по пользователям и т.д.? по IP получается? На данный момент детализация собирается, а вот высылается пустая, как будто трафика и небыло. Но в IPN источнике видно что трафик есть и обрабатывается и т.д. UPD3: Как можно посмотреть содержимое логов? Размер при простое одинаковый (3145916 байт), во время генерации небольшого кол-ва трафика изменяется: Код: 2752684 ./log_2010-05-25-09.000.bgdl 2752684 ./log_2010-05-25-09.001.bgdl 2359452 ./log_2010-05-25-09.002.bgdl 3145916 ./log_2010-05-25-09.003.bgdl ... 3145916 ./log_2010-05-25-10.010.bgdl 2752684 ./log_2010-05-25-10.011.bgdl 1179756 ./log_2010-05-25-10.012.bgdl 3145916 ./log_2010-05-25-11.000.bgdl 1966220 ./log_2010-05-25-11.001.bgdl 3145916 ./log_2010-05-25-11.002.bgdl 60 ./log_2010-05-25-11.003.bgdl UPD4: В логах IPN нашел следующее: Код: 05-25/12:57:48 DEBUG [Thread-14] dataloader - Ignoring: sourceId:1 Flow 6:89.20.68.14:61499 / 5:91.100.100.37:48016 131 ToS/DiffServ: 0 nextHop: 10.0.0.1 05-25/12:57:48 DEBUG [Thread-14] dataloader - Process line Flow 1:126.117.16.29:19892 / 6:89.20.68.14:61499 129 ToS/DiffServ: 0 nextHop: 10.0.0.1 05-25/12:57:48 DEBUG [Thread-14] dataloader - Find any iface list 05-25/12:57:48 DEBUG [Thread-14] dataloader - Find any iface list Radius сервер выдает IP сам: Код: 25 11:02:17 Type=AUTHENTICATION_ACCEPT Process time auth: 79 init_tariff: 4; set_ip: 0; common_auth: 74 Attributes: Acct-Interim-Interval=10 Service-Type=2 Framed-Protocol=1 Framed-IP-Address=89.20.68.14 Trace: Login found. В конфигурации радиус сервера: Код: netflow.service.link.13=2 IN 0.0.0.0-255.255.255.255 netflow.service.link.14=3 OUT 0.0.0.0-255.255.255.255 в конфигурации IPN: Код: collector.mid=2 generate.minutes=5 log.dir=/usr/local/BGIPNNetflowCollector/log load=1 process=1 process.sources=1 ipn.collector.detail.class=bitel.billing.server.netflow.ipn.detail.AnalyzedFlowDetailMaker ipn.collector.detail.folder=/usr/local/BGIPNNetflowCollector/detail collector.capture.flow.port.1=2004 collector.capture.flow.port.1.type=netflow collector.capture.flow.port.1.sources=1 collector.capture.flow.port.1.thread.count=10 datalog.chunk.size=393216 datalog.flow.compression.type=1 код модуля и источника верны, в конфигурации наса тоже код источника и ip наса верный Почему он игнорирует потоки не могу понять из логов... UPD5: Поставил дебаг радиус сервера вот что сыпится в логи flow.log: Цитата: 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Processing flow.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Flow 5:118.100.60.139:22537 / 6:89.20.68.14:61499 129 ToS/DiffServ: 0 nextHop: 10.0.0.1 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Outgoing mode.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Finding session on 1 nases.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Session not found 118.100.60.139 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Incoming mode.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Finding session on 1 nases.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - OK address registred.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Service find IP:118.100.60.139; port:22537; direct ( 1 - out / 2 - in ): 2 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - SID = 2 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Processing flow.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Flow 6:89.20.68.14:61499 / 5:118.100.60.139:22537 397 ToS/DiffServ: 0 nextHop: 10.0.0.1 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Outgoing mode.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Finding session on 1 nases.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - OK address registred.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Service find IP:118.100.60.139; port:22537; direct ( 1 - out / 2 - in ): 1 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - SID = 3 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Incoming mode.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Finding session on 1 nases.. 05-25/13:26:19 DEBUG [flow-p-1-t-2] FlowListenerWorker - Session not found 118.100.60.139 почему он ищет сессию для 118.100.60.139? или это нормально? для своего IP 89.20.68.14 он сессию на насе нашел... Вроде остальное все в порядке... |
Автор: | Kazrarr [ 27 май 2010, 10:30 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
Уважаемая администрация и разработчики.. Есть ли какие нибудь диагностические решения благодаря которым можно выявить причину подобного поведения? |
Автор: | Kazrarr [ 27 май 2010, 12:23 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
Следуя по пунктам из этой статьи: http://wiki.bgbilling.ru/index.php/%D0% ... 1%80%D0%B0 Сделал пункт 1 и пункт 2, информация о трафике по данному IP есть. в dataloader.log немного другая информация, я ее в предыдушем посте писал. Время поджимает, посоветуйте пожалуйста что-нибудь по диагностике данной проблемы. |
Автор: | Kazrarr [ 31 май 2010, 12:29 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
ап |
Автор: | snark [ 01 июн 2010, 01:49 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
так что именно не получается то? |
Автор: | Kazrarr [ 01 июн 2010, 09:19 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
Высылаю письмо с детализацией по сессии, а в нем все по 0, как будто нет трафика.. Делаю ./netflow.sh save 1 2010-06-01-09 /tmp/temp.log А там по моему IP есть детализация |
Автор: | snark [ 01 июн 2010, 11:45 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
конфиг NAS-а покажите? особенно касательно этого: Код: ipn.module.id=<mid> ipn.source.id=<sid> или гадать будем? |
Автор: | Kazrarr [ 01 июн 2010, 14:04 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
snark писал(а): конфиг NAS-а покажите? особенно касательно этого: Код: ipn.module.id=<mid> ipn.source.id=<sid> или гадать будем? В первом сообщении: Kazrarr писал(а): конфиг NAS'a: Код: ... netflow.receive.from=10.0.0.5 ipn.module.id=2 ipn.source.id=1 .. На всякий случай полный конфиг наса: Код: #разрешение активировать все типы карточек на этом NASе card.activate.service=0 #поддержка CallBack (1-включите) callback.support=0 #принудительный разрыв соединений на границе месяца month.break=1 #максимальное число попыток сброса соединения nas.inspector.kill.max_messages=10 #интервал между посылками на вышибание клиента nas.inspector.sleep_time=10 #SNMP порт и пароль nas.inspector.snmp.port=161 nas.inspector.snmp.community=private nas.inspector.snmp.kill.max_messages=5 # IN & OUT буфер в мегабайтах nas.inspector.snmp.buffer.in=4 nas.inspector.snmp.buffer.out=4 #числовые коды услуг времени, трафика входящего и исходящего nas.port_time.default.*=1 nas.port_traffic.default.*=2:COLLECTOR;3:COLLECTOR;4:COLLECTOR;5:COLLECTOR;6:MAX(2,3);7:MAX(4,5) nas.inspector.class=bitel.billing.server.processor.PoDNASConnectionInspector nas.inspector.radius.port=1700 nas.inspector.radius.attributes=User-Name;Framed-IP-Address;Acct-Session-Id nas.inspector.kill.max_messages=20 nas.inspector.sleep_time=15 nas.inspector.coa.timeout=15 nas.inspector.coa.retries=10 nas.inspector.coa.threads=10 coa.log=1 netflow.receive.from=10.0.0.5 drop.sleep.timeout=3600 month.break=1 ipn.module.id=2 ipn.source.id=1 ID модуля источника верные проверял несколько раз.. |
Автор: | snark [ 01 июн 2010, 15:01 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
Kazrarr писал(а): snark писал(а): конфиг NAS-а покажите? особенно касательно этого: Код: ipn.module.id=<mid> ipn.source.id=<sid> или гадать будем? В первом сообщении пардон, проглядел спросонья ![]() Kazrarr писал(а): конфиг наса: Код: ... #SNMP порт и пароль nas.inspector.snmp.port=161 nas.inspector.snmp.community=private nas.inspector.snmp.kill.max_messages=5 # IN & OUT буфер в мегабайтах nas.inspector.snmp.buffer.in=4 nas.inspector.snmp.buffer.out=4 ... nas.inspector.class=bitel.billing.server.processor.PoDNASConnectionInspector nas.inspector.radius.port=1700 nas.inspector.radius.attributes=User-Name;Framed-IP-Address;Acct-Session-Id nas.inspector.kill.max_messages=20 nas.inspector.sleep_time=15 nas.inspector.coa.timeout=15 nas.inspector.coa.retries=10 nas.inspector.coa.threads=10 coa.log=1 ... Вам ничего странным не кажется? зачем Вам SNMP если у Вас PoD? Kazrarr писал(а): конфиг наса: Код: ... #числовые коды услуг времени, трафика входящего и исходящего nas.port_time.default.*=1 nas.port_traffic.default.*=2:COLLECTOR;3:COLLECTOR;4:COLLECTOR;5:COLLECTOR;6:MAX(2,3);7:MAX(4,5) ... коды правильные? ключевой вопрос - какой режим работы радиуса? тобишь что тут: Код: dialup.workmode=???
|
Автор: | Kazrarr [ 01 июн 2010, 15:26 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
snark писал(а): Kazrarr писал(а): конфиг наса: Код: ... #SNMP порт и пароль nas.inspector.snmp.port=161 nas.inspector.snmp.community=private nas.inspector.snmp.kill.max_messages=5 # IN & OUT буфер в мегабайтах nas.inspector.snmp.buffer.in=4 nas.inspector.snmp.buffer.out=4 ... nas.inspector.class=bitel.billing.server.processor.PoDNASConnectionInspector nas.inspector.radius.port=1700 nas.inspector.radius.attributes=User-Name;Framed-IP-Address;Acct-Session-Id nas.inspector.kill.max_messages=20 nas.inspector.sleep_time=15 nas.inspector.coa.timeout=15 nas.inspector.coa.retries=10 nas.inspector.coa.threads=10 coa.log=1 ... Вам ничего странным не кажется? зачем Вам SNMP если у Вас PoD? Сорри не заметил.. Это я уже сейчас перенес с рабочего сервера, пытался склонировать конфигурацию досимвольно... snark писал(а): Kazrarr писал(а): конфиг наса: Код: ... #числовые коды услуг времени, трафика входящего и исходящего nas.port_time.default.*=1 nas.port_traffic.default.*=2:COLLECTOR;3:COLLECTOR;4:COLLECTOR;5:COLLECTOR;6:MAX(2,3);7:MAX(4,5) ... коды правильные? Коды верные модуль диалапа трафик разделяет верно на локальный глобальный и т.д. snark писал(а): ключевой вопрос - какой режим работы радиуса? тобишь что тут: Код: dialup.workmode=??? висит в конфигурации модуля VPN: Код: dialup.workmode=1
|
Автор: | Kazrarr [ 01 июн 2010, 16:48 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
у меня такое ощущение что проблема в том что нас mpd5 =( Я попробовал ipcadом трафик слать, пробовал слать трафик samplicate, пробовал слать напрямую из mpd5 чисто на коллектор, пробовал форвардить радиусом пробовал коллектор ставить на другую машинку, копируя рабочий коллектор... но все равно трафик по 0 в детализации, но присутствует при ./netflow save .... /tmp/temp.log Такое ощущение что трафик не может привязаться к договору =\ рядом стоит на другом порту работает копия только с другими немного ид источника и базой, и получает от ipcad-а с линуксового поп топа и делает детализацию на ура |
Автор: | snark [ 01 июн 2010, 16:49 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
вот мой рабочий конфиг: Код: # телефоны по портам, * - все порты (если параметр не указан, вызываемый номер берется из Calling-Station-Id)
#nas.port_phone.*= # разрешение активировать все типы карточек на этом NASе #card.activate.service=0 # поддержка CallBack (1-включите) callback.support=0 # принудительный разрыв соединений на границе месяца month.break=1 # интервал между посылками на проверку либо сброс соедиенения nas.inspector.sleep_time=60 # максимальное число попыток сброса соединения nas.inspector.kill.max_messages=5 # автозакрытие "висящих" соединений drop.sleep.timeout=3600 # PoD/CoA dialup.workmode=1 nas.inspector.class=bitel.billing.server.processor.PoDNASConnectionInspector # хост (если не указан - берется IP адреса NASа) #nas.inspector.radius.host= # секрет (если не указан - берется секрет NASа) #nas.inspector.radius.secret= # порт nas.inspector.radius.port=1700 # какие атрибуты добавлять в PoD/CoA запрос из сессии, если пустой параметр - высылаются все атрибуты nas.inspector.radius.attributes=User-Name;Framed-IP-Address;Acct-Session-Id # количество попыток сброса nas.inspector.kill.max_messages=20 # интервал между попытками в секундах nas.inspector.sleep_time=15 # таймаут ожидания ответа в секундах ответа между попытками отправки пакета СoA nas.inspector.coa.timeout=15 # количество попыток отправить пакет CoA nas.inspector.coa.retries=10 # количество потоков отправки CoA пакетов nas.inspector.coa.threads=10 # числовые коды услуг времени, трафика входящего и исходящего nas.port_time.default.*=1 nas.port_traffic.default.*=2:COLLECTOR;3:COLLECTOR;4:COLLECTOR;5:COLLECTOR;6:COLLECTOR;7:COLLECTOR;11:COLLECTOR;12:COLLECTOR # ассоциация NAS-а с коллектором netflow.receive.from=xxx.yyy.zzz.10 # детализация трафика ipn.module.id=4 ipn.source.id=1 # переобработка NetFlow трафика netflow.log.path=/path/to/billing/netflow/data/source_1 |
Автор: | Kazrarr [ 01 июн 2010, 17:05 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
snark писал(а): вот мой рабочий конфиг: Цитата: Пакеты отправлялись на 0 хостов Пакеты принимались с 0 хостов =\ похоже что проблема не в конфиге наса |
Автор: | Kazrarr [ 01 июн 2010, 18:51 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
snark Спасибо тебе большое за помощь. Когда будет возможность подниму репутацию =) пока нету отдал одну уже =) Как я изначально и предполагал для решения проблемы мне не хватало просто алгоритма работы детализации. Проблема была в разных часовых поясах на насе и бгб сервере. Сессия начиналась по одному часовому поясу указанному в конфигурации сервера БГБ, а детализация отправляемая с наса содержала в себе временную метку которая отличалась от временной метки установленной радиусом для сессии. Если бы мои тестовые сессии были более 10ти часов я бы увидел детализацию. |
Автор: | snark [ 01 июн 2010, 22:05 ] |
Заголовок сообщения: | Re: проблема с детализацией трафика |
Kazrarr писал(а): Спасибо тебе большое за помощь. незачто ... мы тут все в одной лодке ![]() Kazrarr писал(а): Проблема была в разных часовых поясах на насе и бгб сервере. во даже как бывает ... ладно время расходится, но то что в разных часовых поясах - это ново ... такого еще тут небыло |
Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |