forum.bitel.ru
http://forum.bitel.ru/

Потеря встроенным коллектром части трафика
http://forum.bitel.ru/viewtopic.php?f=5&t=2937
Страница 1 из 1

Автор:  Easy [ 25 сен 2009, 16:48 ]
Заголовок сообщения:  Потеря встроенным коллектром части трафика

Тут заметил, что встроенный в радиус коллектор теряет часть статистики по трафику. Т.е. скачиваю файл мегов в 60 жду минут 10, а он в статистике не появляется (хотя 1-3 мегабайта там есть). В итоге делают переобработку netflow трафика с логов и трафик добавляется.
Что это может быть куда смотреть?
Биллинг версии 4.5 с последними обновлениями.
P.S. Особенно глюк заметил, когда пользователь отключился до того как произошёл обсчет по сессии.

Автор:  snark [ 26 сен 2009, 18:19 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

режим работы сервера?
время аливов?
время таймаута netflow?

P.S. оборудование из последних разработок ВПК и на конфигах стоит гриф "совершенно секретно"?

Автор:  Easy [ 29 сен 2009, 03:36 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

Да не :) Ща всё выложу
Имеем 2 одинаковых PPPOE сервера на MPD 5.3
Код:
CPU: Intel(R) Core(TM)2 Duo CPU     E4600  @ 2.40GHz (2407.51-MHz 686-class CPU)
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
real memory  = 2121859072 (2023 MB)
avail memory = 2070970368 (1975 MB)
em0: <Intel(R) PRO/1000 Network Connection 6.9.6> port 0xcc00-0xcc1f mem 0xff6e0000-0xff6fffff,0xff6c0000-0xff6dffff irq 16 at device 0.0 on pci3

это касаемо PPPOE Nasов
Сервер с BGB и коллектором и радивсом вот такой http://www.westcomp.ru/pricepos.php?id=320

Текс
конфиги на nas
Код:
# разрешение активировать все типы карточек на этом NASе
#card.activate.service=0
# поддержка CallBack (1-включите)
callback.support=0
# автозакрытие "висящих" соединений
drop.sleep.timeout=3600
# принудительный разрыв соединений на границе месяца
month.break=1
# интервал между посылками на проверку либо сброс соедиенения
nas.inspector.sleep_time=60
# максимальное число попыток сброса соединения
nas.inspector.kill.max_messages=5
dialup.workmode=1
nas.inspector.snmp.port=161
nas.inspector.snmp.community=xxxxx
snmp.version=2
nas.inspector.class=bitel.billing.server.processor.SNMPNASConnectionInspectorType5
nas.inspector.snmp.kill.oid=1.3.6.1.4.1.2021.255.1
nas.inspector.snmp.check.oid=1.3.6.1.4.1.2021.255
# числовые коды услуг времени, трафика входящего и исходящего
# 1 - Время
# 2 - Трафик (входящий)
# 3 - Трафик (исходящий)
# 4 - Трафик локальный (входящий)
# 5 - Трафик локальный (исходящий)
nas.port_time.default.*=1
nas.port_traffic.default.*=2:COLLECTOR;3:COLLECTOR;4:COLLECTOR;5:COLLECTOR
netflow.receive.from=x.x.x.x
ipn.module.id=6
ipn.source.id=1
netflow.log.path=/xx/xx/xx


аливы на безлимитки сделал 10 минут, на трафиковые 2 минуты
эмс
MPD:
Код:
startup:
        set user adm adm admin
        set console self x.x.x.x 5005
        set console open
        set netflow peer x.x.x.x 2001
        set netflow self x.x.x.x 2010

default:
        set ippool add nomoney x.x.x.x x.x.x.x
        create bundle template B

        set iface disable proxy-arp
        set iface disable on-demand

        set iface enable netflow-in
        set iface enable netflow-out

        set ipcp no vjcomp
        set ipcp ranges x.x.x.x/32 ippool nomoney
        set ipcp dns x.x.x.x x.x.x.x

        set bundle disable compression

        create link template PPPoE pppoe

        set link action bundle B
        set link disable multilink
        set link no acfcomp protocomp
        set link no pap chap
        set link enable pap
        set link keep-alive 60 180

        set radius server x.x.x.x xxxxxxx 1812 1813
        set radius me x.x.x.x
        set radius retries 3
        set radius timeout 5

        set auth disable internal
        set auth enable radius-auth
        set auth enable radius-acct
        set pppoe service "*"
        set pppoe acname "PPPoE_1"

#MPD IFACE CONFIG
                create link template em0 PPPoE
                set pppoe iface em0
                set link enable incoming

                create link template vlan100 PPPoE
                set pppoe iface vlan100
                set link enable incoming

                create link template vlan101 PPPoE
                set pppoe iface vlan101
                set link enable incoming


ну и в довершении radius.properties:
Код:
processor.class=bitel.billing.server.processor.dialup.DialUpProcessor
#ЙНД ЛНДСКЪ dialup
processor.mid=1

#ОНПРШ ЮБРНПХГЮЖХХ Х ЮЙЙЮСМРЮ
auth.port=1812
acct.port=1813
admin.port=1955
netflow.port=2010

#ЙНКХВЕЯРБН НДМНБПЕЛЕММШУ ОНРНЙНБ ЮБРНПХГЮЖХХ, ЮЙЙЮСМРЮ Х НАПЮАНРЙХ NetFlow
auth.thread.count=50
acct.thread.count=50
netflow.thread.count=50

#НОЖХХ ОНДЙКЧВЕМХЪ Й ад
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=xxxx
db.pswd=xxxxx
db.maxIdle=200
db.maxActive=3000


Дублирование netflow трафика на IPN и на Radius netflow сделано с помощью samplicate

Автор:  snark [ 29 сен 2009, 14:49 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

вся беда именно в samplicate, т.к. он шлет полный поток ipn коллектору, а в dialup отсылает как то криво, что подверждается этим:
Easy писал(а):
скачиваю файл мегов в 60 жду минут 10, а он в статистике не появляется (хотя 1-3 мегабайта там есть). В итоге делают переобработку netflow трафика с логов и трафик добавляется.

т.е. dialup коллектор не получает тот же объем что и ipn коллектор

Easy писал(а):
Особенно глюк заметил, когда пользователь отключился до того как произошёл обсчет по сессии.

это не глюк, это особенность работы netflow - информация о трафике, которая обсчитывается по аливам, может придти от NF источника с опозданием, а т.к. у Вас довольно большое время аливов, то Вы можете потерять те данные которые были в перерыве между этими аливами ... в 4.6 разработчики добавили отложенный стоп именно для таких ситуаций ...

Автор:  Easy [ 29 сен 2009, 15:44 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

Потери были до IPN и samplicate. После этого сделал побольше alive думаю может нормально будет...

Автор:  snark [ 29 сен 2009, 16:07 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

если потери были ДО того как вы стали юзать samplicate то значит что проблема в mpd ... вы "set netflow timeouts" крутить пробывали? а то таймаут активных netflow по дефолту довольно большой:
man ng_netflow писал(а):
Active timeout.
...
The default is 1800 seconds (30 minutes).

т.е. если небыло прерывания ТСР сессии (RST или FIN), например при скачивании с фтп, то ждать инфу о ней вы будете полчаса ... поставьте:
Код:
set netflow timeouts 60 60

и посмотрите что получится

Автор:  Easy [ 30 сен 2009, 13:37 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

поменял. понаблюдаю. Возможно проблема действительно была в этом.

Автор:  snark [ 30 сен 2009, 16:40 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

ок, ждем ...
отпишитесь о результатах, пожалуйста

Автор:  Easy [ 03 окт 2009, 20:32 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

Вроде стало лучше, спасибо, но ещё наблюдаю...

Возник ещё вопрос. Правда немного не по теме. 2 PPPoE cервака идентичные по железу (сетевушки Intel братья, даже мак отличается на одну цифру) Freebsd 7.2 с одинаковым ядром, вообщем всё один в один. Проц и память один в один по характеристикам. НО! На одном сервере сидит 70% пользователей а на другом только 30%. Может куда то покапать, что б раскидать это? А то сервер на котором 30% гонит мегабит по 70 а сервер на котором 70% пользователей по 200 с лишним.

Автор:  snark [ 06 окт 2009, 17:03 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

Easy писал(а):
2 PPPoE cервака идентичные по железу
...
На одном сервере сидит 70% пользователей а на другом только 30%. Может куда то покапать, что б раскидать это?

в РРРоЕ какой сервак раньше ответил - к тому юзер и приконнектится, а пока в mpd нет задержки PADO этого не разрулить :(

Автор:  Easy [ 07 окт 2009, 14:44 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

Это я вкурсе. Может просто нашли уже какие решения.
Что самое забавное, до этого нагрузка была на втором серваке а первый отдыхал, в один день они просто поменялись местами. Мистика блин.

Автор:  snark [ 07 окт 2009, 17:09 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

решение есть только на другом железе, за другие деньги ... ну или переходить на РРТР если хочется иметь именно mpd

Автор:  Easy [ 08 окт 2009, 02:31 ]
Заголовок сообщения:  Re: Потеря встроенным коллектром части трафика

Не то не другое естественно не хочется :) Но спасибо за варианты.

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/