BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 04 июл 2025, 00:42

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 27 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
Dog
 Заголовок сообщения: Пропадает большая часть трафика
СообщениеДобавлено: 22 ноя 2009, 18:25 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
Добрый день,
по каким то причинам, большая часть трафика не обрабатывается колектором, т.е. в первичных логах трафик есть, а вот в dataloader.log и соответственно в договор клиента он не попадает.
например в первичных логах есть такая строка:
Код:
1258887746325   83.217.39.17    80      172.31.111.111  3741    14728761        1       3

а в файле dataloader.log тишина по поводу обработки такой строки.

BGBillingServer v 4.6 build 580 from 07.10.2009 10:01:50
Traffic collector for IPN v 4.6 build 214 from 10.08.2009 11:33:19
Вернуться к началу
 Профиль  
 
Администратор
СообщениеДобавлено: 23 ноя 2009, 18:30 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
А по поводу обработки других строк в dataloader.log есть что-нибудь?
Пробовали по инструкции разобрать: http://wiki.bgbilling.ru/index.php/Методика_определения_причины_отсутствия_трафика_в_отчете_договора ?
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 23 ноя 2009, 19:44 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
да, конешно, пытался разобраться по мануалу из wiki
вот для примера:
выборка из первичного лога:
Код:
[root@bill BGIPNNetflowCollector]# grep "95.73.34.9" 2009-11-22-14.txt
1258887600325   172.31.111.111  3661    95.73.34.9      53161   5004    3       1
1258887702325   95.73.34.9      53161   172.31.111.111  3661    8855    1       3
1258887712325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258887712325   95.73.34.9      53161   172.31.111.111  34019   539     1       3
1258887810325   172.31.111.111  3661    95.73.34.9      53161   5024    3       1
1258887930325   95.73.34.9      53161   172.31.111.111  3661    8844    1       3
1258887932325   172.31.111.111  34019   95.73.34.9      53161   663     3       1
1258887932325   95.73.34.9      53161   172.31.111.111  34019   539     1       3
1258888020325   172.31.111.111  3661    95.73.34.9      53161   12081   3       1
1258888140325   95.73.34.9      53161   172.31.111.111  3661    8681    1       3
1258888152325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258888152325   95.73.34.9      53161   172.31.111.111  34019   539     1       3
1258888230325   172.31.111.111  3661    95.73.34.9      53161   7790    3       1
1258888350325   95.73.34.9      53161   172.31.111.111  3661    17030   1       3
1258888354325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258888354325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258888380325   172.31.111.111  3661    95.73.34.9      53161   7539    3       1
1258888552325   172.31.111.111  34019   95.73.34.9      53161   510     3       1
1258888552325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258888560325   95.73.34.9      53161   172.31.111.111  3661    1708    1       3
1258888590325   172.31.111.111  3661    95.73.34.9      53161   1411    3       1
1258888752325   172.31.111.111  34019   95.73.34.9      53161   510     3       1
1258888752325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258888800325   95.73.34.9      53161   172.31.111.111  3661    10056   1       3
1258888800325   172.31.111.111  3661    95.73.34.9      53161   8060    3       1
1258888954325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258888954325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258889010325   172.31.111.111  3661    95.73.34.9      53161   3703    3       1
1258889010325   95.73.34.9      53161   172.31.111.111  3661    4390    1       3
1258889152325   172.31.111.111  34019   95.73.34.9      53161   510     3       1
1258889152325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258889222325   172.31.111.111  3661    95.73.34.9      53161   1366    3       1
1258889222325   95.73.34.9      53161   172.31.111.111  3661    1836    1       3
1258889372325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258889372325   95.73.34.9      53161   172.31.111.111  34019   539     1       3
1258889460325   95.73.34.9      53161   172.31.111.111  3661    18653   1       3
1258889460325   172.31.111.111  3661    95.73.34.9      53161   8199    3       1
1258889572325   172.31.111.111  34019   95.73.34.9      53161   510     3       1
1258889572325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258889670325   95.73.34.9      53161   172.31.111.111  3661    3610    1       3
1258889696325   172.31.111.111  3661    95.73.34.9      53161   5626    3       1
1258889772325   172.31.111.111  34019   95.73.34.9      53161   510     3       1
1258889772325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258889884325   95.73.34.9      53161   172.31.111.111  3661    22199   1       3
1258889904325   172.31.111.111  3661    95.73.34.9      53161   18705   3       1
1258889978325   172.31.111.111  34019   95.73.34.9      53161   612     3       1
1258889978325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258890096325   95.73.34.9      53161   172.31.111.111  3661    10341   1       3
1258890120325   172.31.111.111  3661    95.73.34.9      53161   8930    3       1
1258890192325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258890192325   95.73.34.9      53161   172.31.111.111  34019   539     1       3
1258890300325   95.73.34.9      53161   172.31.111.111  3661    17376   1       3
1258890330325   172.31.111.111  3661    95.73.34.9      53161   14639   3       1
1258890392325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258890392325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258890510325   95.73.34.9      53161   172.31.111.111  3661    13905   1       3
1258890540325   172.31.111.111  3661    95.73.34.9      53161   10955   3       1
1258890592325   172.31.111.111  34019   95.73.34.9      53161   510     3       1
1258890592325   95.73.34.9      53161   172.31.111.111  34019   490     1       3
1258890750325   95.73.34.9      53161   172.31.111.111  3661    2424    1       3
1258890750325   172.31.111.111  3661    95.73.34.9      53161   1693    3       1
1258890812325   172.31.111.111  34019   95.73.34.9      53161   612     3       1
1258890812325   95.73.34.9      53161   172.31.111.111  34019   539     1       3
1258890960325   95.73.34.9      53161   172.31.111.111  3661    1762    1       3
1258890990325   172.31.111.111  3661    95.73.34.9      53161   1880    3       1
1258891032325   172.31.111.111  34019   95.73.34.9      53161   561     3       1
1258891032325   95.73.34.9      53161   172.31.111.111  34019   539     1       3
1258891092326   172.31.111.111  34019   95.73.34.9      53161   102     3       1
1258891092326   95.73.34.9      53161   172.31.111.111  34019   98      1       3
1258891112325   95.73.34.9      53161   172.31.111.111  3661    1900    1       3
1258891112325   172.31.111.111  3661    95.73.34.9      53161   1012    3       1

а вот выборка из обработанного лога по тому же ip:
Код:
[root@bill log]# grep "95.73.34.9" 2009-11-22-14.log
11-23/16:33:41 DEBUG [Thread-14] dataloader - Process line Flow 1:95.73.34.9:53161 / 3:172.31.111.111:3661 1900 ToS/DiffServ: 11000 nextHop: 172.31.111.111
11-23/16:33:41 DEBUG [Thread-14] dataloader - Process line Flow 3:172.31.111.111:3661 / 1:95.73.34.9:53161 1012 ToS/DiffServ: 10000 nextHop: 95.73.36.126


т.е. обработаны только две последние строки из "сырого" лога.
Вернуться к началу
 Профиль  
 
Администратор
СообщениеДобавлено: 24 ноя 2009, 14:40 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Ну выкладывайте скрины, как у вас адреса в договоре заведены, привязки услуг.
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 24 ноя 2009, 16:15 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
ммм, но ведь это все относится к начислению в договор наработки, а тут почему то трафик вообще не обрабатывается. причём трафик идентичный
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 24 ноя 2009, 16:44 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Параметр в конфиге есть?
process.datalog.thread.count=
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 24 ноя 2009, 18:55 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
нет, такого параметра не было, но без него все работало.
сейчас добавил:
Код:
port.admin=2003

#��� ������ IPN
collector.mid=1

#����� ����������� � ��
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#���������� �����
log.dir=/usr/local/BGIPNNetflowCollector/binlog
ipn.collector.detail.folder=/usr/local/BGIPNNetflowCollector/detail
ipn.collector.detail.class=bitel.billing.server.netflow.ipn.detail.AnalyzedFlowDetailMaker
load=1
generate.minutes=10
process=1
sources=3

#����
collector.capture.flow.port.1=2004
#��� ���������
collector.capture.flow.port.1.type=netflow
#������������� �� ����� ��������� (���������� ����)
collector.capture.flow.port.1.sources=3
#���������� �������
collector.capture.flow.port.1.thread.count=150
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#������������ snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#������ �����
datalog.chunk.size=524288
#������ �����
datalog.flow.compression.type=1
process.thread.count=10
process.datalog.thread.count=200

результат тот же:
Код:
[root@bill BGIPNNgrep "95.73.34.9" dataloader.log
11-24/15:42:53 DEBUG [data-process-log-p-4-t-16] dataloader - Process line Flow 1:95.73.34.9:53161 / 3:172.31.111.111:3661 1900 ToS/DiffServ: 11000 nextHop: 172.31.111.111
11-24/15:42:53 DEBUG [data-process-log-p-4-t-16] dataloader - Process line Flow 3:172.31.111.111:3661 / 1:95.73.34.9:53161 1012 ToS/DiffServ: 10000 nextHop: 95.73.36.126
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 24 ноя 2009, 19:05 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Нет, просто, если бы этот параметр стоял - возможно проблема бы была в мультипотоковой обработке.
Значение в 200 потоков там точно не надо, если у вас хотя бы не 20 ядер :)
1-8
По умолчанию 1.
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 24 ноя 2009, 19:21 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
ну я так ... с запасом небольшим поставил =) чтобы точно не промахнуться
что еще проверить?
смысл в том, что до этого все работало нормально. не так давно поменяли маршрутизацию на микротике, откуда сыпется статистика. убрали маскардинг и поставили нат. и спустя пару дней заметили, что значение трафика в отчётах перестало изменяться (~1000 - 2000 мб в день), но тут на лицо проблема в том, что статистика с микротика приходит верная, источник и назначение в логах верное, интерфейсы правильные, объёмы правильные, а вот обработки насколько я понимаю нет.
Вернуться к началу
 Профиль  
 
Администратор
СообщениеДобавлено: 24 ноя 2009, 19:50 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Цитата:
[root@bill log]# grep "95.73.34.9" 2009-11-22-14.log

Вы учитываете, что там файлы ротейтятся dataloader.log? Вообще трафик какой-нибудь остается на договоре? Вы пробовали "ручками" посчитать по первичной детализации за какой-нибудь час и сравнить с биллингом?
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 25 ноя 2009, 19:07 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
руками конешно не считал, но на вскидку для примера:
Код:
[root@bill BGIPNNetflowCollector]# grep "81.30.206" 2009-11-25-15.txt
1259153078190   81.30.206.92    80      172.31.111.111  63150   36514   1       3
1259153078190   172.31.111.111  63150   81.30.206.92    80      6192    3       1
1259153078190   81.30.206.92    80      172.31.111.111  63149   22694   1       3
1259153078190   172.31.111.111  63149   81.30.206.92    80      5368    3       1
1259153078190   81.30.206.92    80      172.31.111.111  63148   44097   1       3
1259153078190   172.31.111.111  63148   81.30.206.92    80      6006    3       1
1259153078190   81.30.206.92    80      172.31.111.111  63154   1080    1       3
1259153078190   172.31.111.111  63154   81.30.206.92    80      1314    3       1
1259153148190   172.31.111.111  63150   81.30.206.92    80      80      3       1
1259153148190   172.31.111.111  63149   81.30.206.92    80      80      3       1
1259153148190   172.31.111.111  63148   81.30.206.92    80      80      3       1
1259153148190   172.31.111.111  63154   81.30.206.92    80      80      3       1
1259153148190   81.30.206.92    80      172.31.111.111  63150   80      1       3
1259153148190   81.30.206.92    80      172.31.111.111  63149   80      1       3
1259153148190   81.30.206.92    80      172.31.111.111  63148   80      1       3
1259153148190   81.30.206.92    80      172.31.111.111  63154   80      1       3
1259153214191   81.30.206.92    80      172.31.111.111  63152   25431620        1       3
1259153214191   172.31.111.111  63152   81.30.206.92    80      448560  3       1
1259153282191   172.31.111.111  63152   81.30.206.92    80      80      3       1
1259153284190   81.30.206.92    80      172.31.111.111  63152   80      1       3

скачал ядро АСР с вашего сайта, 25 мб
см. скрин статистики и видим что там даже не пахнет теми самыми 25 мб, хотя какой то трафик насчитало
а вот выборки по вашему ip из dataloader.log

Код:
[root@bill log]# grep "81.30.206.92" dataloader.log
[root@bill log]# grep "81.30.206.92" dataloader.log.1
11-25/16:00:57 DEBUG [data-process-log-p-66-t-3] dataloader - Process line Flow 1:81.30.206.92:80 / 3:172.31.111.111:63152 80 ToS/DiffServ: 10001 nextHop: 172.31.111.111
[root@bill log]# grep "81.30.206.92" dataloader.log.2
11-25/15:57:54 DEBUG [data-process-log-p-65-t-8] dataloader - Process line Flow 1:81.30.206.92:80 / 3:172.31.111.111:63152 80 ToS/DiffServ: 10001 nextHop: 172.31.111.111

как понимать, не знаю, но трафик явно приходит с источника, а вот после обработки его не видно
Вернуться к началу
 Профиль  
 
Администратор
СообщениеДобавлено: 25 ноя 2009, 19:23 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Выложите время модификации файлов dataloader.log после обработки. Вообще удалите их, перезапустите даталодер и сделайте обработку только этого часа. Сколько логов dataloader.* создалось? Может, заполнило все логи, просто хвост в них остался..
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 25 ноя 2009, 20:26 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
удалил все файлы dataloader.log
перезапустил dataloader
остановил коллектор
Код:
[root@bill BGIPNNetflowCollector]# ./netflow_start.sh
[root@bill BGIPNNetflowCollector]# ./netflow.sh isload 3 2009-11-25-15
OK log is marked, process started..
[root@bill BGIPNNetflowCollector]# cd log
[root@bill log]# ls -l
п╦я┌п╬пЁп╬ 27632
-rw-r--r-- 1 root root  6886970 п²п╬я▐ 23 16:33 2009-11-22-14.log
-rw-r--r-- 1 root root  9760017 п²п╬я▐ 24 15:46 2009-11-22-14.log2
-rw-r--r-- 1 root root     1196 п²п╬я▐ 25 17:17 collector.log
-rw-r--r-- 1 root root  1086272 п²п╬я▐ 25 17:17 dataloader.log
-rw-r--r-- 1 root root 10485802 п²п╬я▐ 25 17:17 dataloader.log.1
-rw-r--r-- 1 root root       71 п²п╬я▐ 25 17:16 detail.log
-rw-r--r-- 1 root root        0 п²п╬я▐ 25 17:16 error.log
-rw-r--r-- 1 root root      135 п²п╬я▐ 25 17:16 generator.log
-rw-r--r-- 1 root root     1137 п²п╬я▐ 25 17:16 loader.log
-rw-r--r-- 1 root root        0 п²п╬я▐ 25 17:16 netflow.out
[root@bill log]# grep "81.30.206" dataloader.log
[root@bill log]# grep "81.30.206" dataloader.log.1
11-25/17:17:11 DEBUG [data-process-log-p-4-t-3] dataloader - Process line Flow 1:81.30.206.92:80 / 3:172.31.111.111:63152 80 ToS/DiffServ: 10001 nextHop: 172.31.111.111


Код:
[root@bill BGIPNNetflowCollector]# ./netflow.sh save 3 2009-11-25-15 2009-11-25-15
Saving started..
[root@bill BGIPNNetflowCollector]# grep "81.30.206" 2009-11-25-15
1259153078190   81.30.206.92    80      172.31.111.111  63150   36514   1       3
1259153078190   172.31.111.111  63150   81.30.206.92    80      6192    3       1
1259153078190   81.30.206.92    80      172.31.111.111  63149   22694   1       3
1259153078190   172.31.111.111  63149   81.30.206.92    80      5368    3       1
1259153078190   81.30.206.92    80      172.31.111.111  63148   44097   1       3
1259153078190   172.31.111.111  63148   81.30.206.92    80      6006    3       1
1259153078190   81.30.206.92    80      172.31.111.111  63154   1080    1       3
1259153078190   172.31.111.111  63154   81.30.206.92    80      1314    3       1
1259153148190   172.31.111.111  63150   81.30.206.92    80      80      3       1
1259153148190   172.31.111.111  63149   81.30.206.92    80      80      3       1
1259153148190   172.31.111.111  63148   81.30.206.92    80      80      3       1
1259153148190   172.31.111.111  63154   81.30.206.92    80      80      3       1
1259153148190   81.30.206.92    80      172.31.111.111  63150   80      1       3
1259153148190   81.30.206.92    80      172.31.111.111  63149   80      1       3
1259153148190   81.30.206.92    80      172.31.111.111  63148   80      1       3
1259153148190   81.30.206.92    80      172.31.111.111  63154   80      1       3
1259153214191   81.30.206.92    80      172.31.111.111  63152   25431620        1       3
1259153214191   172.31.111.111  63152   81.30.206.92    80      448560  3       1
1259153282191   172.31.111.111  63152   81.30.206.92    80      80      3       1
1259153284190   81.30.206.92    80      172.31.111.111  63152   80      1       3
1259153732190   81.30.206.92    80      172.31.111.111  63692   139148  1       3
1259153732190   172.31.111.111  63692   81.30.206.92    80      14596   3       1
1259153732190   81.30.206.92    80      172.31.111.111  63695   170088  1       3
1259153732190   172.31.111.111  63695   81.30.206.92    80      20575   3       1
1259153732191   81.30.206.92    80      172.31.111.111  63693   60163   1       3
1259153732191   81.30.206.92    80      172.31.111.111  63691   108499  1       3
1259153732191   172.31.111.111  63691   81.30.206.92    80      19996   3       1
1259153732191   81.30.206.92    80      172.31.111.111  63694   60409   1       3
1259153732191   172.31.111.111  63694   81.30.206.92    80      16719   3       1
1259153732191   172.31.111.111  63693   81.30.206.92    80      20450   3       1
1259153802190   172.31.111.111  63692   81.30.206.92    80      80      3       1
1259153802190   172.31.111.111  63695   81.30.206.92    80      80      3       1
1259153802190   172.31.111.111  63693   81.30.206.92    80      80      3       1
1259153802190   172.31.111.111  63691   81.30.206.92    80      80      3       1
1259153802190   172.31.111.111  63694   81.30.206.92    80      80      3       1
1259153802190   81.30.206.92    80      172.31.111.111  63692   80      1       3
1259153802190   81.30.206.92    80      172.31.111.111  63695   80      1       3
1259153802190   81.30.206.92    80      172.31.111.111  63693   80      1       3
1259153802190   81.30.206.92    80      172.31.111.111  63691   80      1       3
1259153802190   81.30.206.92    80      172.31.111.111  63694   80      1       3
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 26 ноя 2009, 14:49 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Можете дать доступ по ssh?
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 26 ноя 2009, 15:45 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
в личных сообщениях
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 26 ноя 2009, 17:20 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
На тестовом сервере добавил адрес 81.30.206.92, добавил в обработку 15 час, получилось
6 2009-11-25 15 244 455 3297 146 26075112
Т.е. так же как и в сумме grep "81.30.206" 2009-11-25-15.txt
Вернуться к началу
 Профиль  
 
D.Kvasov
СообщениеДобавлено: 27 ноя 2009, 14:40 
Не в сети

Зарегистрирован: 27 ноя 2009, 14:38
Сообщения: 5
Карма: 0
Добрый день. В скором времени мы планируем перевести на Ваш биллинг всех наших клиентов, в данный момент через него работают только новые клиенты. Это порядка 130 физ. и юр. лиц, часть из которых сидят на тарифах с ограничением по трафику, который уже неделю не считается. Вопрос стоит очень остро, и мы готовы оплатить Вашу тех. поддержу, уже сделали запрос, но увы пока не получили счет. Это конечно хорошо, что на тестовом сервере в Уфе все замечательно считается, но нам необходимо, чтобы считалось у нас. Давайте найдем причину неполадки.


Последний раз редактировалось D.Kvasov 28 ноя 2009, 16:39, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 27 ноя 2009, 18:29 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Доступа (логина/пароля) к клиенту не было, потому на тот момент смог только таким образом проверить.
Давайте доступ также в личку...
Проверьте привязки услуг.
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 27 ноя 2009, 20:30 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
Добрый вечер,
привязок услуг две, идентичные, структура показана по теме выше. обе не менялись ни до, ни после начала проблем с подсчётом трафика.
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 28 ноя 2009, 05:41 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
Доброго времени,
через 1 день аптайма, на почту начали сыпаться подобные оповещения:
Код:
[BGIPNNetflowCollector] Недостаток памяти системы
ID события: system.no.memory
Время регистрации события: 28.11.2009 08:50:58
Приложению недостаточно выделенной для него памяти!
Зарезервировано 258539520 из 258539520 (максимум) байтов памяти.
Сейчас свободно: 100472008 байтов.

хотя до этого работало 1.5 месяца аптайма и ничего подобного не было замечено. что начало "отъедать" у процесса память?
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 30 ноя 2009, 17:12 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
У вас в конфиге источника
Код:
ignore.by.zero.dst.iface=1

В логах
Код:
11-30/14:00:36 DEBUG [data-process-log-p-54-t-4] dataloader - Ignored because dst iface=0


Цитата:
через 1 день аптайма, на почту начали сыпаться подобные оповещения:

Может быть детализацию делаете? Попробуйте поставить 512 МБ.
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 30 ноя 2009, 18:19 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
Amir писал(а):
У вас в конфиге источника
Код:
ignore.by.zero.dst.iface=1

В логах
Код:
11-30/14:00:36 DEBUG [data-process-log-p-54-t-4] dataloader - Ignored because dst iface=0

ну да, игнор нулевого интерфейса, только вот помимо этого игнорится и трафик который идёт между 1 и 3 интерфейсом, причем в этом случае вообще глухо в логах. посмотрите выше пример со скачиванием ядра биллинга с вашего сайта, там с интерфейсами все правильно, но трафик так и не начислен абоненту.

Amir писал(а):
Может быть детализацию делаете? Попробуйте поставить 512 МБ.

детализацию не делаем.
попробывать то можно, только стоит ли лечить симптомы, может быть нужно понять причину?
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 30 ноя 2009, 18:32 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Цитата:
ну да, игнор нулевого интерфейса, только вот помимо этого игнорится и трафик который идёт между 1 и 3 интерфейсом, причем в этом случае вообще глухо в логах. посмотрите выше пример со скачиванием ядра биллинга с вашего сайта, там с интерфейсами все правильно, но трафик так и не начислен абоненту.

Я ставил ignore.by.zero.dst.iface=0, переобработал 2009-11-25-15 - сумма сошлась с netflow.sh save по входящему на 172.31.111.111.
Считать количество по отладочным логам - не правильно, потому что логи ротейтятся.
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 30 ноя 2009, 18:58 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
Amir писал(а):
Цитата:
ну да, игнор нулевого интерфейса, только вот помимо этого игнорится и трафик который идёт между 1 и 3 интерфейсом, причем в этом случае вообще глухо в логах. посмотрите выше пример со скачиванием ядра биллинга с вашего сайта, там с интерфейсами все правильно, но трафик так и не начислен абоненту.

Я ставил ignore.by.zero.dst.iface=0, переобработал 2009-11-25-15 - сумма сошлась с netflow.sh save по входящему на 172.31.111.111.
Считать количество по отладочным логам - не правильно, потому что логи ротейтятся.


Цитата:
В конфигурации источника типа NetFlow возможно указание опции:
ignore.by.zero.dst.iface=1 - пропускать пакеты с нулевым интерфейсом назначения, т.к. на аппаратуре CISCO это означает что пакет не получил клиент

да, я смотрю, после изменения этого параметра, цифры в статистике стали похожи на правду (покрайней мере за периоды, когда проводились тесты). но поясните пожалуйста, как этот параметр мог так влиять на статистику, если исходя из первичных логов:
Код:
1259153214191   81.30.206.92    80      172.31.111.111  63152   25431620        1       3

т.е. 25431620 байт пришло с первого интерфейса и ушло на третий интерфейс, а в статистике за этот период трафика было не больше 3-5 мегабайт?
вопщем пока посмотрим насколько верно считается трафик сейчас.
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 30 ноя 2009, 19:01 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Цитата:
детализацию не делаем.

По логам детализация отправлялась. Еще может быть от того что 150 потоков поставили собирать netflow логи, когда по умолчанию 10 стоит. Также может быть что на обработку памяти не хватает, тогда просто нужно увеличить. В любом случае - это предупреждение. Если действительно не хватило памяти на операцию, то в логах будет OutOfMemory Error.
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 30 ноя 2009, 19:09 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Цитата:
но поясните пожалуйста, как этот параметр мог так влиять на статистику, если исходя из первичных логов

Выложили обновление коллектора, теперь опция работает как должна.
Вернуться к началу
 Профиль  
 
Dog
СообщениеДобавлено: 01 дек 2009, 19:32 
Не в сети
Клиент

Зарегистрирован: 21 сен 2009, 13:01
Сообщения: 835
Откуда: Москва
Карма: 15
обновление поставило всё на свои места. спасибо
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 27 ] 

Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.080s | 71 Queries | GZIP : On ]