forum.bitel.ru
http://forum.bitel.ru/

Неправильные цифры в отчете
http://forum.bitel.ru/viewtopic.php?f=12&t=4040		 Страница 1 из 1
Автор:  skyb [ 18 май 2010, 06:56 ]
Заголовок сообщения:  Неправильные цифры в отчете
Собстевенно сабж или я чегото не понямаю. Есть отчет (делал сам), и не могу понять толи чтото не верно толи я чегото не догоняю. Если выставить фильтр в мб.сек то цифры получаются, но если их сравнивать в mrtg то не понятно почему цифры в биллинге в 2 раза меньше?

Вложения:
dialup_3.jrxml.zip [5.32 КБ]
Скачиваний: 273
Автор:  Мамонт [ 18 май 2010, 13:26 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
а как в mrtg считается?
Автор:  skyb [ 18 май 2010, 13:28 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Мамонт писал(а):
а как в mrtg считается?

решили помочь :) эт че - мне ночь не спать и описывать isg :)
По snmp считается
Автор:  Мамонт [ 18 май 2010, 13:42 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
skyb писал(а):
Мамонт писал(а):
а как в mrtg считается?

По snmp считается

я понимаю, что по snmp. дело в том еще, что mrtg хранит данные агрегированно и чем дальше, тем менее точно, т.е. цифры, получаемые из него, каждый день будут разные, оно вас устраивает? И еще. Обычно в mrtg считают трафик в оба направления, в вашем отчете так-же?
Автор:  skyb [ 18 май 2010, 13:54 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Мамонт писал(а):
skyb писал(а):
Мамонт писал(а):
а как в mrtg считается?

По snmp считается

я понимаю, что по snmp. дело в том еще, что mrtg хранит данные агрегированно и чем дальше, тем менее точно, т.е. цифры, получаемые из него, каждый день будут разные, оно вас устраивает? И еще. Обычно в mrtg считают трафик в оба направления, в вашем отчете так-же?

что в mrtg что в биллинге (отчете) считаются в 2 направления. Я попытался вывести в отчете среднее значение.
Просто у нас недавно был сбой netflow по которому считается трафик в биллинге. Поэтому я не могу просматреть точность отчета - а так она разходится раза в 2 ажно. Посмотрите отчет - он может и вам понадобиться, сравните его со своим mrtg у вас будет сильная разница или нет?
Автор:  Мамонт [ 18 май 2010, 16:06 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Дело в том, что у меня mrtg нету года так с 2004.. =)
А расхождение трафика у вас ровно в два раза или "примерно" ?
Автор:  snark [ 18 май 2010, 22:12 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
самый главный вопрос - откуда цифры в биллинге? SNMP? netflow? откуда?
Автор:  skyb [ 19 май 2010, 05:04 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Мамонт писал(а):
Дело в том, что у меня mrtg нету года так с 2004.. =)
А расхождение трафика у вас ровно в два раза или "примерно" ?

примерно, нет конечно не ровно
Автор:  skyb [ 19 май 2010, 05:05 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
snark писал(а):
самый главный вопрос - откуда цифры в биллинге? SNMP? netflow? откуда?

netflow
Автор:  skyb [ 19 май 2010, 11:16 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Пытался руками проверить толи выводит сам отчет - именно то что указано в таблице amount. Блин - то...почему тогда цифры разные. я бы понял если бы они немного бы отличались, а вон, на много различие. В чем может быть проблема??
Автор:  snark [ 19 май 2010, 17:21 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
skyb писал(а):
snark писал(а):
самый главный вопрос - откуда цифры в биллинге? SNMP? netflow? откуда?

netflow

ну и о чем вообще эта тема? mrtg собирает данные через SNMP, а там скапливаются данные обо всех пакетах, т.е. с L2 и выше, в ifInOctets:
cisco писал(а):
The total number of octets received on the interface, including framing characters.

в ifOutOctets:
cisco писал(а):
The total number of octets transmitted out of the interface, including framing characters.

в то время как netflow - это чистые IP пакеты без L2 заголовков (читай L3 и выше) и разница между этими двумя показателями будет _всегда_, так что сравнивать эти данные попросту глупо, IMHO ... точно так же мне стоит сравнивать RADIUS accounting (все пакеты) с netflow (только IP пакеты)
Автор:  skyb [ 19 май 2010, 17:24 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
snark писал(а):
skyb писал(а):
snark писал(а):
самый главный вопрос - откуда цифры в биллинге? SNMP? netflow? откуда?

netflow

ну и о чем вообще эта тема? mrtg собирает данные через SNMP, а там скапливаются данные обо всех пакетах, т.е. с L2 и выше, в ifInOctets:
cisco писал(а):
The total number of octets received on the interface, including framing characters.

в ifOutOctets:
cisco писал(а):
The total number of octets transmitted out of the interface, including framing characters.

в то время как netflow - это чистые IP пакеты без L2 заголовков (читай L3 и выше) и разница между этими двумя показателями будет _всегда_, так что сравнивать эти данные попросту глупо, IMHO ... точно так же мне стоит сравнивать RADIUS accounting (все пакеты) с netflow (только IP пакеты)

Тоесть та нагрузка на канал которая в мртж она не сможет корректно отобразиться в биллинге если собирать все не с snmp??
Автор:  snark [ 19 май 2010, 18:13 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
то что mrtg собирает через SNMP а в биллинге данные от netflow уже ясно? ЕМНИМС в интернетах есть перловй скрипт который берет данные из текстовых логово mrtg и считает по ним трафик
надеюсь Вы в курсе что mrtg:
а) рисует average, т.е. усредненное значение?
б) выводит (кило/мега/гига)биты/сек, в то время как в биллинге байты? смотря куда считать - умножение/деление на ноль 8 никто не отменял

не могли бы Вы не отчетом, чтоб не надо было ставить и смотреть что Вы хотели, а словами рассказать что именно Вы хотите увидеть и что именно у Вас не получается?
Автор:  skyb [ 19 май 2010, 18:21 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Могу запрос выложить. Нужно - простое - смотреть загрузку в часы ЧНН на определенных тарифах. это и выдает отчет (верней не совсем это :) )
У меня отчет переводит в мегабит в секунду.
Автор:  snark [ 19 май 2010, 19:03 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
пожалуй самое простое - это брать и суммировать наработку по трафиковым услугам за требуемый час * 8 чем получить примерную скорость ... примерную - это потому что наработку надо будет умножить на разницу между netflow данными и данными SNMP, к сожалению я сейчас не помню более-менее точную цифру, но высчитать ее не сложно - я считал так: несколько раз скачивал файл размером ровно 100 мегабайт, создавал так:
Код:
dd if=/dev/zero of=/path/to/store/100_mb_file bs=10240 count=10240

и сравнивал данные radius accounting и netflow - после нескольких проверок разница между данными составляла примерно одну и ту же цифру с разницей то ли в сотые то ли в тысячные доли процента
Автор:  skyb [ 19 май 2010, 19:14 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
snark писал(а):
пожалуй самое простое - это брать и суммировать наработку по трафиковым услугам за требуемый час * 8 чем получить примерную скорость ... примерную - это потому что наработку надо будет умножить на разницу между netflow данными и данными SNMP, к сожалению я сейчас не помню более-менее точную цифру, но высчитать ее не сложно - я считал так: несколько раз скачивал файл размером ровно 100 мегабайт, создавал так:
Код:
dd if=/dev/zero of=/path/to/store/100_mb_file bs=10240 count=10240

и сравнивал данные radius accounting и netflow - после нескольких проверок разница между данными составляла примерно одну и ту же цифру с разницей то ли в сотые то ли в тысячные доли процента

А хотяб примерно, а то выискивать - это ппц %)
Автор:  snark [ 19 май 2010, 19:50 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
очень, очень примерно только так :roll:
"выискивать - это ппц"(с)
Автор:  skyb [ 19 май 2010, 20:04 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
snark писал(а):
очень, очень примерно только так :roll:
"выискивать - это ппц"(с)

спс :roll:
Ясно, тогда придется что то гуглить :) . Всеравно спасибо за помощь ;)

По непроверенным данным - это число около 12%
Автор:  skyb [ 20 май 2010, 11:28 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Начал с самого низа капать.
Это снято с интерфейсов.
Код:
cisco 1
input, 891372844 bytes
output, 363670954 bytes,

cisco 2
input, 1929045188 bytes,
output, 2319229865 bytes,

с 12-20 до 13-22

Код:
mysql> select sum(amount) from session_detail_1_201005 where dtime >  '2010-05-20 12:20:00' and dtime <  '2010-05-20 13:22:00';
+-------------+
| sum(amount) |
+-------------+
| 65187207538 |
+-------------+


mysql> select sum(amount) from session_detail_1_201005 where dtime >  '2010-05-20 12:20:00' and dtime <  '2010-05-20 13:22:00' and sid <> 17;
+-------------+
| sum(amount) |
+-------------+
| 64947019279 |
+-------------+



Код:
netflow.service.link.1=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.2=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.3=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.4=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.5=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.6=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.7=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.8=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.9=17 IN xxx.xxx.xxx.xxx-xxx.xxx.xxx.xxx
netflow.service.link.10=2 IN 0.0.0.0-255.255.255.255
traffics=2/17;Внешний/Внутренний

где блин 60000000000 байт примерно %)
Причем в биллинге данных больше.

Вложения:
72.png
72.png [ 5.01 КБ | Просмотров: 18755 ]
Автор:  snark [ 20 май 2010, 14:50 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
давайте с самого начала ;)
определяемся с какого интерфейса циски считается трафик, т.е. там где на интерфейсе написано
Код:
ip flow ingress
ip flow egress

значит при выводе
Код:
sh int <интерфейс> | i bytes

Вас должны интересовать как "input" так и "output", а если у вас на разных интерфейсах стоит
Код:
ip flow ingress

значит считается на обоих, тогда Вас должны интересовать только данные с "input"

засекаем время, при этом важно чтобы в тест не попали данные которые Вам не нужны, т.е. чтобы "хвосты" netflow не мешали, после чего на циске делаем
Код:
cle cou <интерфейс>

ждем, и ... и идем сравнивать :)
хотя если говорить честно - с dialup это проще решить учитывая разницу между данными по netflow и radius accounting, т.е. подключился, скачал, сравнил ...
могу сказать что разница в 10-20% - это та жертва на которую Вам придется идти чтобы учитывать трафик по сервисам ;)
Автор:  skyb [ 20 май 2010, 14:52 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Уже не наработе :( ... данные давал с циски не я, поэтому скорей всего они не верные. 6 гигов за час - думаю очень мало :). Завтра уже оттестю - отпишу.
Автор:  skyb [ 21 май 2010, 13:14 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
mysql> select sum(amount) from session_detail_1_201005 where dtime > '2010-05-20 12:20:00' and dtime < '2010-05-20 13:22:00';

а как dtime < '2010-05-20 13:22:00'; вот это вот работает?? тоесть я попробовал выбрать другие часы - он мне выдал NULL тоесть ... он каждую секунду генирирует данные или с периодом в час??

Так разобрался...данные формируются раз в час Теперь вопрос к разрабам - за какой час верно брать?? мне нужен период с 11.00 до 12.00 мне брать данные за 2010-05-20 12:00:00 или 2010-05-20 11:00:00 ??
Автор:  skyb [ 25 май 2010, 05:37 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Если предположить (разработчики, мож всетаки прольете свет - за какой час у вас берется поле dtime) что обрабатывается предидущий час, то
Код:
mysql> select sum(amount) from session_detail_1_201005 where dtime = '2010-05-21 12:00:00' ;
+-------------+                                                                             
| sum(amount) |
+-------------+
| 64748726684 |
+-------------+

и вот что со внешнего порта снято
Код:
Input packets statistics:
48421871243 bytes,
Output packets statistics:
16846785077 bytes,

Как я понимаю, это и есть та разница - snmp и netflow. Получается примерно 519929636 байт. Или я что то неправильно понимаю ?
Автор:  Администратор [ 27 май 2010, 18:25 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Запрос бессмысленный:
Код:
select sum(amount) from session_detail_1_201005 where dtime > '2010-05-20 12:20:00' and dtime < '2010-05-20 13:22:00';

В session_detail наработка лежит с разбивкой по часам (в лучшем случае, если свёртку не делалали). Вы посмотрите какие данные в таблице, там нет нигде минут.
Автор:  skyb [ 27 май 2010, 18:32 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Смотрел, да, там нет минут....так я потом дальше вопрос и задал - за какой час считается? за предидущий или за следущий
Автор:  Администратор [ 28 май 2010, 11:51 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
http://www.bgbilling.ru/v5.0/doc/ch03s02s05.html
При приходе Update пакета весь трафик от предыдущего апдейт пакета считается потреблённым в момент этото предыдущего апдейта ну и в session_detail попадает на час предыдущего апдейта.
Автор:  skyb [ 02 июн 2010, 06:14 ]
Заголовок сообщения:  Re: Неправильные цифры в отчете
Разобрался. Отчет оказался бессмысленным. Так как трафик там суммировался. В первый час месяца - это было 2 гигабайта разница, в то время как в конце месяца разрыв составлял уже очень большое число. :( Отчет нужно делать за день. Будет разрыв, но не такой большой. Пните как это реализовать с помощью API, что использовать.
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/