BiTel

Никак не могу настроить IPNNetflowCollector на загрузку логов с IPCAD.
Нужен ли IPCAD? Если нужен значит ли это что IPCAD становится источником пакетов для IPNNetflowCollector-a?

Правильно ли я понимаю процесс?
1. Cisco посылает Netflow пакеты на какой либо порт (у меня 9996)
2. IPCAD их принимает, осуществляет их предобработку для IPN коллектора и посылает дальше (у меня на порт 2004 локальной машины: для этого я прописал в качества источника 127.0.0.1)
3. Коллектор их принимает, создаёт на их основе логи на диске, обрабатывает, заполняет таблицы data_log_<mid>_yyyyMMdd и обсчитывает контракты

В таком случае вопрс: почему у меня в MYSQL нет этой таблицы?

Помогите пожалуйста
Мне действительно срочно нужно покончить с этим

Ещё пару соображений...

Сегодня я наконец то увидел с помощью tcpdump-а пакеты IPCAD посланные им IPNNetflowCollector-у

tcpdump -nn -i lo port 2004
18:46:28.159888 IP 127.0.0.1.32768 > 127.0.0.1.2004: UDP, length 120
18:47:29.462068 IP 127.0.0.1.32768 > 127.0.0.1.2004: UDP, length 120

От Cisco они приходят на IPCAD по порту 9996
ip flow-export destination 89.248.206.226 9996

а он их перенаправляет на порт 2004
netflow export destination 127.0.0.1 2004;

что и подтверждается выводом tcpdump

Но тогда возникает вопрос:
Почему не создаются бинарные логи Netflow в каталоге
/usr/local/BGIPNNetflowCollector/logs/Sources

Вопрос "почему в MYSQL отсутствует таблицы data_log_4_yyyyMMdd?" поскольку я в форуме вычитал, что новых версиях биллинга для разгрузки базы логи хранятся в бинарном файле. Я правильно понял?

Мне конечно щас не до этого но мне это кажется немного странным

Кто-нибудь откликнитесь пожалуйста... очень нужно

Вы немного напутали:
1. IPCAD - это NetFlow агент для UNIX платформ, т.е. он может слать статистику в формате NetFlow с обычных роутеров. В вашей схеме он вообе не нужен, нужно ловить поток прямо с 9996 порта.
2. В таблицах коллектор уже давно не хранить логи, т.к. это сильно грузит базу. Логи хранятся в бинарных файлах определенного формата.

Остановил IPCAD
В источниках модуля(IPN) поменял 127.0.0.1 на 89.249.206.225 (как и раньше было, потому как я это уже проходил, щас токо попробовал потому что bgbilling заново установил)

В наастройка BGIPNNetFlow коллектора поменял port.netflow=2004 на port.netflow=9996

Не помогло: логи по прежнему пусты


по ходу ещё пара соображений
Что означают эти логи
loader.log
INFO 02.06.2007 17:00:44 Reinit loaders map..
INFO 02.06.2007 17:00:44 Make new loader for 1
и т.д. ежечасно

dataoader.log
INFO 02.06.2007 15:00:15 Processing source:1 time: 2007-06-02 14:00:00.0
INFO 02.06.2007 15:00:16 proccess [ 02-06-2007 14:00:00; mid => 1; param => 1 ] Bean create => 86 Processed lines => 0; inserts => 0; errors => 0; time => 142 ms.
и т.д. ежечасно

в особенности меня смущает "Bean create => 86" потому что значение меняется


Кстати я ещё не пробовал Коллектор в связке с flow-tools... Может поможет? потому как я понял за сбор логов в этом случае отвечает именно flow-tools

В loader.log коллектора что-нибудь пишется? Потоки на порт точно идут, tcpdump ом проверьте.

В предыдущих сообщениях я уже писал об этом.

вывод loader.log

"Что означают эти логи
loader.log
INFO 02.06.2007 17:00:44 Reinit loaders map..
INFO 02.06.2007 17:00:44 Make new loader for 1
и т.д. ежечасно

dataoader.log
INFO 02.06.2007 15:00:15 Processing source:1 time: 2007-06-02 14:00:00.0
INFO 02.06.2007 15:00:16 proccess [ 02-06-2007 14:00:00; mid => 1; param => 1 ] Bean create => 86 Processed lines => 0; inserts => 0; errors => 0; time => 142 ms.
и т.д. ежечасно

в особенности меня смущает "Bean create => 86" потому что значение меняется
"

вывод tcpdump(правда тогда я слушал пакеты ipcad на локальную машину)
"
tcpdump -nn -i lo port 2004
18:46:28.159888 IP 127.0.0.1.32768 > 127.0.0.1.2004: UDP, length 120
18:47:29.462068 IP 127.0.0.1.32768 > 127.0.0.1.2004: UDP, length 120
"

Собственно пакеты от Cisco я тогда не приводил поскольку очевидно что они были раз ipcad их пересылает. В данный момент я их привести не могу но уверен( и многократно это делал) что команда
tcpdump -i eth- port 9996
что нибудь да выдаст

по ходу ещё один вопрос. Пытался настроить связку с flow-tools но оказалось, что по ссылке в документации есть только файлы необходимые для связки а самого flow-tools нет. Откуда можно его скачать

Не связывайтесь пока с flow-tools лучше, сделайте в автономном режиме.

В автономном режиме я уже всё перепробовал... ну ни в какую...
у меня даже мысль появилась что в новых векрсиях биллинга коллектор вообще не работает. В старых версиях вроде как работал. Имею ввиду логи заполнялись.

Как я понимаю коллектор из базы берёт токо ID источника, и его IP.
ID нужен чтобы создать каталог source_<ID>. а IP чтобы собирать трафик только нужных источников. Так?

Давайте пробовать в автономном режиме.
В конфиге коллектора что написано?

netflow_ipn.properties имеется ввиду?

port.admin=2003
port.netflow=9996

#код модуля IPN
collector.mid=1

#частота генерации заданий в минутах
#если опция не указана - генерация происходит только на границе часа
#generate.minutes=30

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#где хранить логи (папка должна существовать и должны быть полные права на нее для процесса коллектора)
log.dir=/home/avetik/BGIPNNetflowCollector/log/
#обслуживаемые источники (через запятую коды источников биллинга которые обслуживает данный коллектор)
#коллектор принимает потоки и обрабатывает логи только этих источников
sources=1
#загружать логи
load=1
#обрабатывать логи
process=1

Здравствуйте!
В мануалах к биллингу вскользь упомянуто про ipcad.
По гуглив слегка нашел статейку:
http://www.vpnms.org/doku.php?id=%D1%83 ... 0%BA%D0%B0 (для ясности) где то в середине статьи про ipcad сказано.
Там упоминается установка еще и rsh-client. Глянул на старый, пока рабочий сервак, нашел таки там ipcad. В скрипте, который лежит инит.д упоминается ещё и flow-fanout, про который вообще не упоминается в мануалах.
1. Если у вас ipcad под debian?
2. Подойдет ли тот вариант со статьи ко мне?
3. Если да, то что добавить, убрать, подкорректировать вобщем?
4. Что ещё по мимо ipcad-а необходимоставить?

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?

какой ipcad? зачем он Вам если у Вас уже есть нормальный генератор netflow трафика?


после этого коллектор перезагружали?


flow-fanout используют для разделения потоков netflow
статья в общем виде подойдет, НО:
- из всей статьи Вам понадобится только настройка pppd
- что-то я не нашел в конфиге ipcad ничего касательно netflow, т.е. там вообще не сказано про:
подробности - в мане
- rsh используется для управления ipcad-ом

snark
1. Если сам ipcad взять с той статьи конфиг подправить по мане, то, теоретически, всё должно работать?
2. Или в самом бинарники при сборки, кроме путей, есть ещё какие-нибудь привязки к чему либо?
3. Установка rsh-clint-а так же обязательна как и ipcad?
4. Если ли русский ман по ipcad.conf?
5. Какой порт указывать здесь?

(в основном в статьях используют порт: 999Х. В настройках нетфлоу стоит 2004 по дефолту. Нельзя иго указать? Если нет то где в конфиги у нетфлоу идёт привязка к порту 999Х. Поправьте где опять запутался.)

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?

да


там же вроде только сорцы, а все нужные привязки создаются на этапе конфигурирования/компиляции, т.е. собрав ipcad Вы получите его рабочий вариант ...


если планируете управлять ipcad-ом - да, хотя может у него есть и иные методы (не вникал особо, т.к. мне и rsh хватало)


идем на хоумпаг ipcad-а, там видим:

тыкаем в ссылку, вспоминаем что есть opennet.ru и гугл после чего думаем о необходимости этого вопроса


в статьях обычно используют порт 9996 потому что, ЕМНИМС, он был указан в презентации и самых первых мануалах по настройке netflow на цисковском сайте (да и сейчас в общем то часто используется), а у авторов статей, IMHO, не хватает желания (фантазии?) его менять ... в "порт" Вы можете смело указывать порт на котором слушает коллектор dialup модуля по дефолту (2001), т.к. на работе netflow это никак не скажется, а Вам не придется изменять конфиги т.д. ...

P.S. Вы серьезно уверены в необходимости использования дебиана в качестве браса? может стоит глянуть в сторону связки FreeBSD + MPD? т.к. там все проще ставится и настраивается, нет нужды во всяких ipcad-ах (netflow out of the box, да), не нужно ничего патчить чтобы AcctXX-Gigawords шли и еще масса плюсов и бонусов ... подумайте

snark
Извеняюсь не так вырозился......
Оpennet.ru и гугл впервую очередь проштрудил. Ту статью тоже читал. К примеру из статьи:

У меня на сервере:

Вот и хотца знать что это за интерфейс? Почему именно он? Что можно было посмотреть, как я предпологаю, в доке. А там везде, что просмотрел, а просмотрел достаточно для понимания, типовые примеры.
Везде в манах:

А у меня:

(Вот это в инглишь мане есть)

Мне не хочется тупо переносить, хотя можно и проще. Хочется осознавать до конца что происходит, а не так : "Раз работает, значит так надо!". Если есть кинь линк на какой-нибудь форум (желательно русский), где ipcad обсуждают. В родном мане тоже пока ни чего не нашел (пока не до конца перевел).

p.s: На счёт FreeBSD, все рекомендуют. Может чуть позже. Просто к дебиану как то привыкли.

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?

ipq интерфейс реализуется в линуксе благодаря модулю ip_queue
Работает примерно так:
iptables хватает пакет в таблице mangle и кидает его на виртуальный интерфейс ipq где его могут обработать другие приложения.. Ipcad например

как только пакет там обработался - он отправляется дальше по цепочке.
для того чтобы это заработало включаем модуль в ядре


теперь ipcad будет обрабатывать (если прописано в конфиге) пакеты пришедшие на ipq

В моем случае у меня НАТ на одной машине вместе с ipcad, без ipq никак
после ната никаких адресов не увидишь на eth1 поэтому обработать их на форварде - самое то.

в английском мане все написано:



осознать что? как работает агрегация или сам ipcad? что?


на офф. сайте и обсуждают кстати ... там вопрос разработчику задать можно ...

P.S. ipcad без сомнения хорошая софтина, но смысла его юзать я особо не вижу, т.к. на фре давно есть встроенный netflow, а на линухе можно использовать fprobe-ulog, который, кстати, на этом форуме уже используют вроде как

Какой интерфейс указывать?
Какая между ними разница?
Как лучше делать агрегацию? (по портам, по айпи)
В чём преимущество, недостатки того или иного способа?


Зачем так далеко..............
Яж биллинг пытаюсь настроить, предположил, что здесь надо народ поспрашивать.

общая проблема:
Все настройки биллинга зделал по мануалу. Прочел основное на 2-а раза(настройка сервера биллинга, клиентской части, ipn модуля, нетфлоу коллектора, манада, договоров, тарифных планов, планировщика, в общем, по моему, всё, кроме остальных модулей и плагинов). Не могу найти где затык вышел.
Толи файр, толи ipcad причина, может ещё что, ну не знаю.
Направте на путь истинный...................
Может логи что прояснят?

p.s.: Если поможет проблеме. Тестирую на дебиане ленни 5.0. 2-е сетевухи без виланов.Если в iptables делаю ACCEPT, то тупо в инет пускает и подсчет не ведёт. Делаю QUEUE, всё полный пипец.

p.s.s.: Не судите строго, если проблема для вас покажется детской. С линуксом тесно общаюсь всего 2-а месяца, поэтому многое могу недопонимать. Столько за 2-а месяца прочитал, что голова пухнет. Ось понравилась. От возможностей биллинга в восторге. Хочу пользоваться, но не получается. Полфорума пролистал, не один день на чтение убил, ну не могу найти решения........................

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?

перво-наперво Вы должны уяснить для себя как движется трафик через Вашу машину ... возьмем простой случай когда нет никакого NAT и т.д., т.е. трафик просто проходит через Ваш роутер:

т.к. netflow изначально считается только как _входящий_ трафик (как работает ipcad - не скажу, не в курсе) то надо включить его на eth0 для учета трафика из инета (для пользователя - входящий), а на eth1 - для учета трафика от пользователя (для юзера это исходящий трафик)


не знаю точно как агрегирует ipcad, но если он тупо агрегирует весь трафик с/на опред. IP - ее лучше не использовать ... если же он делает это красиво, т.е. агрегируя трафик с/на IP с учетом портов (3 пакета в еденицу времени на один IP на 80-й порт превратятся в 1 пакет на IP на 80 порт), то тогда только по IP конечно же, т.к. агрегируя по портам Вы конечно уменьшите объем, но в то же время останетесь без возможности детализации ... точнее, она конечно будет, но все порты будут представлять собой 1 цифру - ту в которую Вы все остальные агрегировали ...


согласитесь, это не так далеко как могло бы быть всеравно дальше гугла здесь не посылают обычно ...


здесь, обычно, обсуждаются настройки самого биллинга или связку оборудования с ним, а не установку и настройку софта ...


я не гуру линуха, но без правил iptables и т.д. и т.п. Вы запросто получите ответ - телепаты в отпуске

Дойду до дома, выложу вечером как настроен у меня ipcad. с конфигами.
Надеюсь не забыли modprobe ip_queue сделать?


п.с. если у вас с iptables трафик идет в QUEUE и там ничем не обработался, пакеты дропаются. т.е. если ipcad не поднялся/не запустился - интернета не будет.
что было введено командой modprobe после перезагрузки не восстанавливается... я например создал башевский скрипт и в нем гружу все нужные модули при старте

BG -192.168.2.5
Router (centos 5.2) - 192.168.2.1

У меня там по моему port.admin 2003 стоит... уж и не помню зачем он. остальное думаю будет понятно

агрегации у меня нет. я честно говоря не знаю зачем она нужна. если подскажете - буду признателен.

Yellowfox


По инглишу выше глянь (3 пост на этой странице), вдруг не так перевёл.



Насколько я понял, если прописать агрегацию, то он будет разделять поток, если нет то всё будет в общей куче. До конца то же полностью не понял. Будем экспериментировать.

У вас в настройках нетфлоу увидел вот эти строчки:

Насколько понял, каждые 10мин. забирать поток с ipcada? (поправьте)
Насколько необходима эта опция? Ведь ipcad должен сам поток отдавать.

Всем спасибо!

p.s.: Сейчас зделал QUEUE в iptables. Инет заробил, значит ipcad работает. Правда ещё правила щидящии сделал, вдруг там что нибудь режится, а дальше буду навешивать. Затык был в несозданной папки для пид файла ipcad-а и в фаире. Тачка где биллинг мучаю сама бегает через другую тачку в инет. И фаире указывал инет_айпи той тачки, а надо было айпи внешней сетевухи. Через час гляну как подсчёт идет, если вообще идёт. И дальше по форуму, топиков с такой проблемикой много................
Ещё раз всем спасибо!!!!!!!!!!!!!!!!!!!

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?

агрегация не имеет никакого отношения к отдаче демоном потока ... вообще не имеет!
агрегация это:

в случае агрегации по IP она служит для объединения группы записей из netflow кеша в одну запись путем суммирования записей IP адреса или группы адресов на основе маски, в случае агрегации по портам записи будут суммироваться либо в указанный порт, с переписывнием оригинального порта, либо все записи опред. порта будут суммированы ...
как то так ...


нет, Вы не правильно поняли, т.к. netflow.thread.count - это количество потоков для обработки пришедшего netflow трафика (подробности) ... эта опция жизненно важна и да, ipcad сам будет отсылать поток трафика ...

snark
Благодарю за ссылку. Там на примере радиус сервера рассмотрено. Для нетфлоу этот пример приемлем? .Про эту строчку понятно.

А с этой строчкой что делать, оставить?

Глыньте здесь http://bgbilling.ru/forum/viewtopic.php?p=12876#12876 пожалуйста - продолжение проблемы.

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?

а как вы думаете что она означает?
эта строчка одна из ключевых - она указывает коллектору с какого ip к ней придет нетфлоу поток.

Я примерно так и думал. Хотелось услышать подтверждения, вдруг ошибался. Спасибо!

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?

глынул(с) и? у Вас и будут пустые логи т.к. недонастроен ipcad и/или модуль ... то что они загружаются и обрабатываются - это ни о чем не говорит, т.к. коллектор прекрасно загружает и обрабатывает и пустые логи, т.е. он их обработал, увидел что данных в них нет ну и плюнул на это дело, т.к. это не его забота обеспечить поступление туда данных

snark
Вы были правы.

Вдруг кому пригодится:

1. Так как директория для логов и сами файлы самостоятельно не создается создаем ее сами:

(путь можно любой, только чтоб совпадал с "chroot = /var/log/ipcad из ipcad.conf")


Не знаю для чего "ipcad.date", но я создал на всякий...

2. Закомментировать строки в /etc/inetd.conf:


3. Если при запуске ipcad ругается на пустой дамп:


Всё ipcad у меня запустился.......И....ipcad лучше установить из исходников...

_________________
На все вопросы существуют ответы, но кто сказал, будто все ответы должны быть известны мне?