forum.bitel.ru
http://forum.bitel.ru/

Netflow data
http://forum.bitel.ru/viewtopic.php?f=44&t=11068
Страница 1 из 1

Автор:  filin [ 05 ноя 2015, 17:22 ]
Заголовок сообщения:  Netflow data

В общем не могу разобраться почему не работате сбор нетфлов.
Схема такая:

Есть Mikrotik к нему подключен свитч и абоненты через них ходят в Инет
Микротик льют NetFlow на сервер БГБиллинга

в конфиге Accounting
Код:

<!-- Cоздание процессора flow-пакетов -->
<------><context name="collector">
<------><------><!-- Служебный ScheduledExecutorService, необходимый для dataLogger -->
<------><------><scheduledExecutorService name="hrlydtlggr" corePoolSize="1"/>

<------><------><!-- Cоздание dataLogger, сохраняющего flow-пакеты на диск (только один экземпляр) -->
<------><------><bean name="flowDataLogger" class="ru.bitel.bgbilling.modules.inet.collector.IPHourlyDataLogger">
<------><------><------><param name="scheduledExecutor">hrlydtlggr</param>
<------><------></bean>

<------><------><!-- Cоздание слушателя flow-пакетов на порту с передачей ему dataLogger -->
<------><------><bean name="flowListener" class="ru.bitel.bgbilling.modules.inet.collector.InetFlowListener">
<------><------><------><constructor factoryMethod="newInstance">
<------><------><------><------><!-- Тип слушателя, netflow, netflow9 или sflow -->
<------><------><------><------><param name="type" value="netflow"/>
<------><------><------><------><!-- Хост (интерфейс), на котором будет открыт сокет. Если пусто - на всех -->
<------><------><------><------><param name="host" value=""/>
<------><------><------><------><!-- Порт, на котором будет открыт сокет -->
<------><------><------><------><param name="port" value="3011"/>
<------><------><------><------><!-- Размер буфера приема слушателя -->
<------><------><------><------><param name="recvBufferSize">4 * 1024 * 1024</param>
<------><------><------><------><!-- Рекомендуемый SO_RCVBUF сокета -->
<------><------><------><------><param name="soRCVBUF">512 * 1024</param>
<------><------><------><------><!-- Количество потоков-обработчиков -->
<------><------><------><------><param name="threadCount" value="10"/>
<------><------><------><------><!-- id устройств-источников, если на данном порту нужно получать пакеты только c определенных источников -->
<------><------><------><------><param name="agentDeviceIds" value=""/>
<------><------><------><------><!-- id устройств-источников, если на данном порту нужно обрабатывать пакеты только c определенных источников -->
<------><------><------><------><param name="processAgentDeviceIds" value=""/>
<------><------><------><------><!-- 1, если нужно запретить сохранять и обрабатывать пакеты, в которых нет записей с IP-адресами из IP-ресурсов -->
<------><------><------><------><param name="ipResourceFilter" value=""/>
<------><------><------><------><!-- Передача dataLogger -->
<------><------><------><------><param name="dataLogger">flowDataLogger</param>
<------><------><------></constructor>
<------><------></bean>
<------><------><!--.
<------><------><bean name="snmpWorker" class="ru.bitel.bgbilling.modules.inet.accounting.InetSnmpWorker">
<------><------><------><constructor>
<------><------><------><------><param name="agentDeviceIds" value="" />
<------><------><------><------><param name="period" value="30" />
<------><------><------></constructor>
<------><------></bean>
<------><------> --><--><------>
<------><------>.
<------><------>.
<------><------><context name="detail">
<------><------><------><!-- Cоздание обработчика flow детализации -->
<------><------><------><bean name="detailWorker" class="ru.bitel.bgbilling.modules.inet.accounting.detail.InetDetailWorker"/>
<------><------></context>
<------></context>
</application>



В Утройствах идет дерево Access+Accounting>Mikrotik>Switch
В конфигурации mikrotik flow.agent.type=netflow

Созданы типы трафика входящий и исходящий
В привязках как на скриншоте

Файлы в data\flow создаются
но в билинге ничего не отображается



Что я делаю не так?

Вложения:
4.png
4.png [ 52.32 КБ | Просмотров: 5498 ]

Автор:  Amir [ 05 ноя 2015, 19:01 ]
Заголовок сообщения:  Re: Netflow data

Переключите логи InetAccounting в TRACE и посмотрите, есть ли информация по трафику и что пишет, когда приходит запись с нужным IP-адресом.

Автор:  Jimson [ 06 ноя 2015, 00:52 ]
Заголовок сообщения:  Re: Netflow data

У меня небольшой опыт тестов inet, но на первый взгляд данной информации крайне мало для угадывания. Покажите тип сервиса. Сервис вешается на порт свича? В конфигурации свича прописан flow.agent.link? С правилами привязки трафика тоже не понятно, что такое 10.10.100/24? Данные, которые собрал аккаунтинг (netflow) можно посмотреть, ./accounting.sh flowExport
viewtopic.php?f=44&t=9893

Автор:  filin [ 06 ноя 2015, 14:39 ]
Заголовок сообщения:  Re: Netflow data

Jimson писал(а):
У меня небольшой опыт тестов inet, но на первый взгляд данной информации крайне мало для угадывания. Покажите тип сервиса. Сервис вешается на порт свича? В конфигурации свича прописан flow.agent.link? С правилами привязки трафика тоже не понятно, что такое 10.10.100/24? Данные, которые собрал аккаунтинг (netflow) можно посмотреть, ./accounting.sh flowExport
viewtopic.php?f=44&t=9893


./accounting.sh flowExport
класная штука )))

Да данные собирает, все нормально.
А вот в билинге не отображает.
Как правильно должно быть в биленге прописано? flow.agent.link

На свитчах прописано flow.agent.link=4 (4 это id mikrotik)
на микротике прописано flow.agent.type=netflow

В трафике как на скриншоте, что не так я не пойму

Автор:  Jimson [ 06 ноя 2015, 15:11 ]
Заголовок сообщения:  Re: Netflow data

Ну документацию надо таки прочитать. Не просмотреть наискось в поисках примеров, хоть они там и есть, а именно прочитать :)
По вашему скриншоту не понятно что вы хотите сделать. Правила привязки типов трафика это то как будут данные распределяться по "типам трафика", а в тарифном плане для каждого типа трафика уже назначается цена и т.п. О flow.agent.link в документации много написано, в общем виде это пара deviceID:interfaceID где deviceID в вашем случае "микротик" (агент netflow), а interfaceID интерфейс этого микротика (интерфейс заведенный в биллинге). Можно вместо interfaceID написать -1, тогда любой flow может быть сопоставлен с сервисами на вашем свиче.
Опять же, вы не ответили что такое 10.10.100/24 и не показали тип сервиса и сам сервис на договоре.

Автор:  ok-2004 [ 08 ноя 2015, 02:42 ]
Заголовок сообщения:  Re: Netflow data

Врятли у ТС на микротиках RouterOs последней версии. А это значит - что нетфлоу он собирает старым дедовским
цисковским способом путем прослушки на интерфейсах а не через таблицу маршрутизации. Скорее всего у ТС на микротиках и NAT поднят. Ну в таком случае польза от нетфлоу = 0 т.к он увидит тока одну часть трафика, в сторону 10.0..... Но
BGB собрать и обсчитать это дело не сможет.


Воще меня в последнее время даже стала развлекать идея побыть штатным экстрасенсом и понять что там у ТС без тонны "портянок" конфигов и "выхлопов" диагностики. Этакий квест... На "Наге" народ по этому поводу праведно перевозбуждается
а здесь - ничего, даже пытаются понять и простить ответить....

Автор:  filin [ 10 ноя 2015, 02:35 ]
Заголовок сообщения:  Re: Netflow data

лог ALL

Код:

collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 14:10.10.100.68:56680 / 2:8.8.8.8:53 433 ToS/DiffServ: 0 nextHop: 95.170.129.81
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 14:10.10.100.68:56681 / 2:8.8.4.4:53 110 ToS/DiffServ: 0 nextHop: 95.170.129.81
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 2:8.8.4.4:53 / 14:95.47.140.254:56681 590 ToS/DiffServ: 0 nextHop: 10.10.100.68
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 2
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Not found iface = 14
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Session not found on default iface
collector 11-10/03:27:48 TRACE [flow-p-9-t-1] FlowListenerWorker - Processing Flow 2:8.8.8.8:53 / 14:95.47.140.254:56680 590 ToS/DiffServ: 0 nextHop: 10.10.100.68




Да и разве тут не видно куда возвращаются пакеты после ната??

Автор:  filin [ 10 ноя 2015, 02:46 ]
Заголовок сообщения:  Re: Netflow data

ok-2004 писал(а):
Врятли у ТС на микротиках RouterOs последней версии. А это значит - что нетфлоу он собирает старым дедовским
цисковским способом путем прослушки на интерфейсах а не через таблицу маршрутизации.


Я что то пропустил в cangelog mikrotik os???
или Вы это имеете в виду?
    What's new in 6.33 (2015-Nov-06 12:49):

    ...
    *) trafflow - report flow addresses in v1 and v5 without NAT awareness;
    ...

Автор:  ok-2004 [ 10 ноя 2015, 09:37 ]
Заголовок сообщения:  Re: Netflow data

Цитата:
14:10.10.100.68:56680 / 2:8.8.8.8:53 nextHop: 95.170.129.81
14:10.10.100.68:56681 / 2:8.8.4.4:53 nextHop: 95.170.129.81
2:8.8.4.4:53 / 14:95.47.140.254:56681 nextHop: 10.10.100.68
2:8.8.8.8:53 / 14:95.47.140.254:56680 nextHop: 10.10.100.68


Я вижу пакеты приходящие на 14-ый интерфейс микротика с адреса 10.10.100.68 и уходящие на 8.8.8.8 (и 4.4) с интерфейса 2
через 95.170.129.81 и пакеты, приходящие на 2-ой интерфейс микротика с адресов 8.8.8.8 (и 4.4) и хотящие отправится на 95.47.140.254 через 10.10.100.68 с 14-го интерфейса.

Вы номера интерфейсов микротиков получили через /int print или snmpwalk или через winbox ?
и чота у вас двунаправленные потоки в сессии не собираются . По идее должны быть пакеты вида:
Код:
2:8.8.4.4:53 / 14:10.10.100.68:56681
2:8.8.8.8:53 / 14:10.10.100.68:56680

Вы случайно ip/firewall/nat/masquerade не используете ? ( а то чота у Вас номера портов 56680(681) совпадают )

Автор:  filin [ 10 ноя 2015, 23:14 ]
Заголовок сообщения:  Re: Netflow data

ну че не понятно, интерфейс 2 на микротике не задействован а 14 не соответствует прохождению этих пакетов, думаю аккоунтинг флоу с микротика не так разбирает, хотя что там разбирать то ((

разумеется использую DST-nat но не маскарад

В мир по дефолту это iface 0

Автор:  Amir [ 11 ноя 2015, 15:44 ]
Заголовок сообщения:  Re: Netflow data

Среди Processing Flow 14:10.10.100.68:56680 / 2:8.8.8.8:53 433 есть IP-адрес который должен обсчитываться?

Автор:  filin [ 12 ноя 2015, 22:17 ]
Заголовок сообщения:  Re: Netflow data

Amir писал(а):
Среди Processing Flow 14:10.10.100.68:56680 / 2:8.8.8.8:53 433 есть IP-адрес который должен обсчитываться?

не понял вопроса
в чем подвох?
должен посчитаться трафик от пользователя 10.10.100.68 до гуговского днс 8.8.8.8 что не так?

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/