forum.bitel.ru • Просмотр темы

Сообщения без ответов | Активные темы

Список форумов » BGBilling » Модули Интернета » Модуль Inet

Часовой пояс: UTC + 5 часов [ Летнее время ]

Netflow data

Страница 1 из 1

[ Сообщений: 12 ]

Версия для печати

Пред. тема | След. тема

Автор

Сообщение

filin

Заголовок сообщения: Netflow data

Добавлено: 05 ноя 2015, 17:22

Зарегистрирован: 31 янв 2013, 12:36
Сообщения: 157
Карма: 0

В общем не могу разобраться почему не работате сбор нетфлов.
Схема такая:

Есть Mikrotik к нему подключен свитч и абоненты через них ходят в Инет
Микротик льют NetFlow на сервер БГБиллинга

в конфиге Accounting

Код:

<!-- Cоздание процессора flow-пакетов -->
<------><context name="collector">
<------><------><!-- Служебный ScheduledExecutorService, необходимый для dataLogger -->
<------><------><scheduledExecutorService name="hrlydtlggr" corePoolSize="1"/>

<------><------><!-- Cоздание dataLogger, сохраняющего flow-пакеты на диск (только один экземпляр) -->
<------><------><bean name="flowDataLogger" class="ru.bitel.bgbilling.modules.inet.collector.IPHourlyDataLogger">
<------><------><------><param name="scheduledExecutor">hrlydtlggr</param>
<------><------></bean>

<------><------><!-- Cоздание слушателя flow-пакетов на порту с передачей ему dataLogger -->
<------><------><bean name="flowListener" class="ru.bitel.bgbilling.modules.inet.collector.InetFlowListener">
<------><------><------><constructor factoryMethod="newInstance">
<------><------><------><------><!-- Тип слушателя, netflow, netflow9 или sflow -->
<------><------><------><------><param name="type" value="netflow"/>
<------><------><------><------><!-- Хост (интерфейс), на котором будет открыт сокет. Если пусто - на всех -->
<------><------><------><------><param name="host" value=""/>
<------><------><------><------><!-- Порт, на котором будет открыт сокет -->
<------><------><------><------><param name="port" value="3011"/>
<------><------><------><------><!-- Размер буфера приема слушателя -->
<------><------><------><------><param name="recvBufferSize">4 * 1024 * 1024</param>
<------><------><------><------><!-- Рекомендуемый SO_RCVBUF сокета -->
<------><------><------><------><param name="soRCVBUF">512 * 1024</param>
<------><------><------><------><!-- Количество потоков-обработчиков -->
<------><------><------><------><param name="threadCount" value="10"/>
<------><------><------><------><!-- id устройств-источников, если на данном порту нужно получать пакеты только c определенных источников -->
<------><------><------><------><param name="agentDeviceIds" value=""/>
<------><------><------><------><!-- id устройств-источников, если на данном порту нужно обрабатывать пакеты только c определенных источников -->
<------><------><------><------><param name="processAgentDeviceIds" value=""/>
<------><------><------><------><!-- 1, если нужно запретить сохранять и обрабатывать пакеты, в которых нет записей с IP-адресами из IP-ресурсов -->
<------><------><------><------><param name="ipResourceFilter" value=""/>
<------><------><------><------><!-- Передача dataLogger -->
<------><------><------><------><param name="dataLogger">flowDataLogger</param>
<------><------><------></constructor>
<------><------></bean>
<------><------><!--.
<------><------><bean name="snmpWorker" class="ru.bitel.bgbilling.modules.inet.accounting.InetSnmpWorker">
<------><------><------><constructor>
<------><------><------><------><param name="agentDeviceIds" value="" />
<------><------><------><------><param name="period" value="30" />
<------><------><------></constructor>
<------><------></bean>
<------><------> --><--><------>
<------><------>.
<------><------>.
<------><------><context name="detail">
<------><------><------><!-- Cоздание обработчика flow детализации -->
<------><------><------><bean name="detailWorker" class="ru.bitel.bgbilling.modules.inet.accounting.detail.InetDetailWorker"/>
<------><------></context>
<------></context>
</application>

В Утройствах идет дерево Access+Accounting>Mikrotik>Switch
В конфигурации mikrotik flow.agent.type=netflow

Созданы типы трафика входящий и исходящий
В привязках как на скриншоте

Файлы в data\flow создаются
но в билинге ничего не отображается

Что я делаю не так?

Вложения:

4.png [ 52.32 КБ | Просмотров: 5486 ]

Вернуться к началу

Amir

Заголовок сообщения: Re: Netflow data

Добавлено: 05 ноя 2015, 19:01

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

Переключите логи InetAccounting в TRACE и посмотрите, есть ли информация по трафику и что пишет, когда приходит запись с нужным IP-адресом.

Вернуться к началу

Jimson

Заголовок сообщения: Re: Netflow data

Добавлено: 06 ноя 2015, 00:52

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27

У меня небольшой опыт тестов inet, но на первый взгляд данной информации крайне мало для угадывания. Покажите тип сервиса. Сервис вешается на порт свича? В конфигурации свича прописан flow.agent.link? С правилами привязки трафика тоже не понятно, что такое 10.10.100/24? Данные, которые собрал аккаунтинг (netflow) можно посмотреть, ./accounting.sh flowExport
viewtopic.php?f=44&t=9893

Вернуться к началу

filin

Заголовок сообщения: Re: Netflow data

Добавлено: 06 ноя 2015, 14:39

Зарегистрирован: 31 янв 2013, 12:36
Сообщения: 157
Карма: 0

Jimson писал(а):

./accounting.sh flowExport
класная штука )))

Да данные собирает, все нормально.
А вот в билинге не отображает.
Как правильно должно быть в биленге прописано? flow.agent.link

На свитчах прописано flow.agent.link=4 (4 это id mikrotik)
на микротике прописано flow.agent.type=netflow

В трафике как на скриншоте, что не так я не пойму

Вернуться к началу

Jimson

Заголовок сообщения: Re: Netflow data

Добавлено: 06 ноя 2015, 15:11

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27

Ну документацию надо таки прочитать. Не просмотреть наискось в поисках примеров, хоть они там и есть, а именно прочитать

По вашему скриншоту не понятно что вы хотите сделать. Правила привязки типов трафика это то как будут данные распределяться по "типам трафика", а в тарифном плане для каждого типа трафика уже назначается цена и т.п. О flow.agent.link в документации много написано, в общем виде это пара deviceID:interfaceID где deviceID в вашем случае "микротик" (агент netflow), а interfaceID интерфейс этого микротика (интерфейс заведенный в биллинге). Можно вместо interfaceID написать -1, тогда любой flow может быть сопоставлен с сервисами на вашем свиче.
Опять же, вы не ответили что такое 10.10.100/24 и не показали тип сервиса и сам сервис на договоре.

Вернуться к началу

ok-2004

Заголовок сообщения: Re: Netflow data

Добавлено: 08 ноя 2015, 02:42

Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40

Врятли у ТС на микротиках RouterOs последней версии. А это значит - что нетфлоу он собирает старым ~~дедовским~~
цисковским способом путем прослушки на интерфейсах а не через таблицу маршрутизации. Скорее всего у ТС на микротиках и NAT поднят. Ну в таком случае польза от нетфлоу = 0 т.к он увидит тока одну часть трафика, в сторону 10.0..... Но
BGB собрать и обсчитать это дело не сможет.

Воще меня в последнее время даже стала развлекать идея побыть штатным экстрасенсом и понять что там у ТС без тонны "портянок" конфигов и "выхлопов" диагностики. Этакий квест... На "Наге" народ по этому поводу праведно перевозбуждается
а здесь - ничего, даже пытаются понять и ~~простить~~ ответить....

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)

Вернуться к началу

filin

Заголовок сообщения: Re: Netflow data

Добавлено: 10 ноя 2015, 02:35

Зарегистрирован: 31 янв 2013, 12:36
Сообщения: 157
Карма: 0

лог ALL

Код:

collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 14:10.10.100.68:56680 / 2:8.8.8.8:53 433 ToS/DiffServ: 0 nextHop: 95.170.129.81
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 14:10.10.100.68:56681 / 2:8.8.4.4:53 110 ToS/DiffServ: 0 nextHop: 95.170.129.81
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 2:8.8.4.4:53 / 14:95.47.140.254:56681 590 ToS/DiffServ: 0 nextHop: 10.10.100.68
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 2:8.8.8.8:53 / 14:95.47.140.254:56680 590 ToS/DiffServ: 0 nextHop: 10.10.100.68

Да и разве тут не видно куда возвращаются пакеты после ната??

Вернуться к началу

filin

Заголовок сообщения: Re: Netflow data

Добавлено: 10 ноя 2015, 02:46

Зарегистрирован: 31 янв 2013, 12:36
Сообщения: 157
Карма: 0

ok-2004 писал(а):

Я что то пропустил в cangelog mikrotik os???
или Вы это имеете в виду?

Вернуться к началу

ok-2004

Заголовок сообщения: Re: Netflow data

Добавлено: 10 ноя 2015, 09:37

Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40

Цитата:

14:10.10.100.68:56680 / 2:8.8.8.8:53 nextHop: 95.170.129.81
14:10.10.100.68:56681 / 2:8.8.4.4:53 nextHop: 95.170.129.81
2:8.8.4.4:53 / 14:95.47.140.254:56681 nextHop: 10.10.100.68
2:8.8.8.8:53 / 14:95.47.140.254:56680 nextHop: 10.10.100.68

Я вижу пакеты приходящие на 14-ый интерфейс микротика с адреса 10.10.100.68 и уходящие на 8.8.8.8 (и 4.4) с интерфейса 2
через 95.170.129.81 и пакеты, приходящие на 2-ой интерфейс микротика с адресов 8.8.8.8 (и 4.4) и хотящие отправится на 95.47.140.254 через 10.10.100.68 с 14-го интерфейса.

Вы номера интерфейсов микротиков получили через /int print или snmpwalk или через winbox ?
и чота у вас двунаправленные потоки в сессии не собираются . По идее должны быть пакеты вида:

Код:

2:8.8.4.4:53 / 14:10.10.100.68:56681
2:8.8.8.8:53 / 14:10.10.100.68:56680

Вы случайно ip/firewall/nat/masquerade не используете ? ( а то чота у Вас номера портов 56680(681) совпадают )

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)

Вернуться к началу

filin

Заголовок сообщения: Re: Netflow data

Добавлено: 10 ноя 2015, 23:14

Зарегистрирован: 31 янв 2013, 12:36
Сообщения: 157
Карма: 0

ну че не понятно, интерфейс 2 на микротике не задействован а 14 не соответствует прохождению этих пакетов, думаю аккоунтинг флоу с микротика не так разбирает, хотя что там разбирать то ((

разумеется использую DST-nat но не маскарад

В мир по дефолту это iface 0

Вернуться к началу

Amir

Заголовок сообщения: Re: Netflow data

Добавлено: 11 ноя 2015, 15:44

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

Среди Processing Flow 14:10.10.100.68:56680 / 2:8.8.8.8:53 433 есть IP-адрес который должен обсчитываться?

Вернуться к началу

filin

Заголовок сообщения: Re: Netflow data

Добавлено: 12 ноя 2015, 22:17

Зарегистрирован: 31 янв 2013, 12:36
Сообщения: 157
Карма: 0

Amir писал(а):

Среди Processing Flow 14:10.10.100.68:56680 / 2:8.8.8.8:53 433 есть IP-адрес который должен обсчитываться?

не понял вопроса
в чем подвох?
должен посчитаться трафик от пользователя 10.10.100.68 до гуговского днс 8.8.8.8 что не так?

Вернуться к началу

Страница 1 из 1

[ Сообщений: 12 ]

Список форумов » BGBilling » Модули Интернета » Модуль Inet

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:

BiTel

Netflow data

Кто сейчас на конференции