Нет, просто, если бы этот параметр стоял - возможно проблема бы была в мультипотоковой обработке.
Значение в 200 потоков там точно не надо, если у вас хотя бы не 20 ядер
1-8
По умолчанию 1.
| forum.bitel.ru http://forum.bitel.ru/ |
|
| Пропадает большая часть трафика http://forum.bitel.ru/viewtopic.php?f=7&t=3217 |
Страница 1 из 1 |
| Автор: | Dog [ 22 ноя 2009, 18:25 ] |
| Заголовок сообщения: | Пропадает большая часть трафика |
Добрый день, по каким то причинам, большая часть трафика не обрабатывается колектором, т.е. в первичных логах трафик есть, а вот в dataloader.log и соответственно в договор клиента он не попадает. например в первичных логах есть такая строка: Код: 1258887746325 83.217.39.17 80 172.31.111.111 3741 14728761 1 3 а в файле dataloader.log тишина по поводу обработки такой строки. BGBillingServer v 4.6 build 580 from 07.10.2009 10:01:50 Traffic collector for IPN v 4.6 build 214 from 10.08.2009 11:33:19 |
|
| Автор: | Администратор [ 23 ноя 2009, 18:30 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
А по поводу обработки других строк в dataloader.log есть что-нибудь? Пробовали по инструкции разобрать: http://wiki.bgbilling.ru/index.php/Методика_определения_причины_отсутствия_трафика_в_отчете_договора ? |
|
| Автор: | Dog [ 23 ноя 2009, 19:44 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
да, конешно, пытался разобраться по мануалу из wiki вот для примера: выборка из первичного лога: Код: [root@bill BGIPNNetflowCollector]# grep "95.73.34.9" 2009-11-22-14.txt 1258887600325 172.31.111.111 3661 95.73.34.9 53161 5004 3 1 1258887702325 95.73.34.9 53161 172.31.111.111 3661 8855 1 3 1258887712325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258887712325 95.73.34.9 53161 172.31.111.111 34019 539 1 3 1258887810325 172.31.111.111 3661 95.73.34.9 53161 5024 3 1 1258887930325 95.73.34.9 53161 172.31.111.111 3661 8844 1 3 1258887932325 172.31.111.111 34019 95.73.34.9 53161 663 3 1 1258887932325 95.73.34.9 53161 172.31.111.111 34019 539 1 3 1258888020325 172.31.111.111 3661 95.73.34.9 53161 12081 3 1 1258888140325 95.73.34.9 53161 172.31.111.111 3661 8681 1 3 1258888152325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258888152325 95.73.34.9 53161 172.31.111.111 34019 539 1 3 1258888230325 172.31.111.111 3661 95.73.34.9 53161 7790 3 1 1258888350325 95.73.34.9 53161 172.31.111.111 3661 17030 1 3 1258888354325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258888354325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258888380325 172.31.111.111 3661 95.73.34.9 53161 7539 3 1 1258888552325 172.31.111.111 34019 95.73.34.9 53161 510 3 1 1258888552325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258888560325 95.73.34.9 53161 172.31.111.111 3661 1708 1 3 1258888590325 172.31.111.111 3661 95.73.34.9 53161 1411 3 1 1258888752325 172.31.111.111 34019 95.73.34.9 53161 510 3 1 1258888752325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258888800325 95.73.34.9 53161 172.31.111.111 3661 10056 1 3 1258888800325 172.31.111.111 3661 95.73.34.9 53161 8060 3 1 1258888954325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258888954325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258889010325 172.31.111.111 3661 95.73.34.9 53161 3703 3 1 1258889010325 95.73.34.9 53161 172.31.111.111 3661 4390 1 3 1258889152325 172.31.111.111 34019 95.73.34.9 53161 510 3 1 1258889152325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258889222325 172.31.111.111 3661 95.73.34.9 53161 1366 3 1 1258889222325 95.73.34.9 53161 172.31.111.111 3661 1836 1 3 1258889372325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258889372325 95.73.34.9 53161 172.31.111.111 34019 539 1 3 1258889460325 95.73.34.9 53161 172.31.111.111 3661 18653 1 3 1258889460325 172.31.111.111 3661 95.73.34.9 53161 8199 3 1 1258889572325 172.31.111.111 34019 95.73.34.9 53161 510 3 1 1258889572325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258889670325 95.73.34.9 53161 172.31.111.111 3661 3610 1 3 1258889696325 172.31.111.111 3661 95.73.34.9 53161 5626 3 1 1258889772325 172.31.111.111 34019 95.73.34.9 53161 510 3 1 1258889772325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258889884325 95.73.34.9 53161 172.31.111.111 3661 22199 1 3 1258889904325 172.31.111.111 3661 95.73.34.9 53161 18705 3 1 1258889978325 172.31.111.111 34019 95.73.34.9 53161 612 3 1 1258889978325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258890096325 95.73.34.9 53161 172.31.111.111 3661 10341 1 3 1258890120325 172.31.111.111 3661 95.73.34.9 53161 8930 3 1 1258890192325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258890192325 95.73.34.9 53161 172.31.111.111 34019 539 1 3 1258890300325 95.73.34.9 53161 172.31.111.111 3661 17376 1 3 1258890330325 172.31.111.111 3661 95.73.34.9 53161 14639 3 1 1258890392325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258890392325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258890510325 95.73.34.9 53161 172.31.111.111 3661 13905 1 3 1258890540325 172.31.111.111 3661 95.73.34.9 53161 10955 3 1 1258890592325 172.31.111.111 34019 95.73.34.9 53161 510 3 1 1258890592325 95.73.34.9 53161 172.31.111.111 34019 490 1 3 1258890750325 95.73.34.9 53161 172.31.111.111 3661 2424 1 3 1258890750325 172.31.111.111 3661 95.73.34.9 53161 1693 3 1 1258890812325 172.31.111.111 34019 95.73.34.9 53161 612 3 1 1258890812325 95.73.34.9 53161 172.31.111.111 34019 539 1 3 1258890960325 95.73.34.9 53161 172.31.111.111 3661 1762 1 3 1258890990325 172.31.111.111 3661 95.73.34.9 53161 1880 3 1 1258891032325 172.31.111.111 34019 95.73.34.9 53161 561 3 1 1258891032325 95.73.34.9 53161 172.31.111.111 34019 539 1 3 1258891092326 172.31.111.111 34019 95.73.34.9 53161 102 3 1 1258891092326 95.73.34.9 53161 172.31.111.111 34019 98 1 3 1258891112325 95.73.34.9 53161 172.31.111.111 3661 1900 1 3 1258891112325 172.31.111.111 3661 95.73.34.9 53161 1012 3 1 а вот выборка из обработанного лога по тому же ip: Код: [root@bill log]# grep "95.73.34.9" 2009-11-22-14.log 11-23/16:33:41 DEBUG [Thread-14] dataloader - Process line Flow 1:95.73.34.9:53161 / 3:172.31.111.111:3661 1900 ToS/DiffServ: 11000 nextHop: 172.31.111.111 11-23/16:33:41 DEBUG [Thread-14] dataloader - Process line Flow 3:172.31.111.111:3661 / 1:95.73.34.9:53161 1012 ToS/DiffServ: 10000 nextHop: 95.73.36.126 т.е. обработаны только две последние строки из "сырого" лога. |
|
| Автор: | Администратор [ 24 ноя 2009, 14:40 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Ну выкладывайте скрины, как у вас адреса в договоре заведены, привязки услуг. |
|
| Автор: | Dog [ 24 ноя 2009, 16:15 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
ммм, но ведь это все относится к начислению в договор наработки, а тут почему то трафик вообще не обрабатывается. причём трафик идентичный |
|
| Автор: | Amir [ 24 ноя 2009, 16:44 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Параметр в конфиге есть? process.datalog.thread.count= |
|
| Автор: | Dog [ 24 ноя 2009, 18:55 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
нет, такого параметра не было, но без него все работало. сейчас добавил: Код: port.admin=2003 #��� ������ IPN collector.mid=1 #����� ����������� � �� db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false db.user=bill db.pswd=bgbilling db.maxActive=300 db.maxIdle=100 #���������� ����� log.dir=/usr/local/BGIPNNetflowCollector/binlog ipn.collector.detail.folder=/usr/local/BGIPNNetflowCollector/detail ipn.collector.detail.class=bitel.billing.server.netflow.ipn.detail.AnalyzedFlowDetailMaker load=1 generate.minutes=10 process=1 sources=3 #���� collector.capture.flow.port.1=2004 #��� ��������� collector.capture.flow.port.1.type=netflow #������������� �� ����� ��������� (���������� ����) collector.capture.flow.port.1.sources=3 #���������� ������� collector.capture.flow.port.1.thread.count=150 # #collector.capture.flow.port.2=2005 #collector.capture.flow.port.2.type=sflow #collector.capture.flow.port.2.sources= #collector.capture.flow.port.2.thread.count=10 #������������ snmp #collector.capture.snmp=1 #collector.capture.snmp.sources=1 #������ ����� datalog.chunk.size=524288 #������ ����� datalog.flow.compression.type=1 process.thread.count=10 process.datalog.thread.count=200 результат тот же: Код: [root@bill BGIPNNgrep "95.73.34.9" dataloader.log
11-24/15:42:53 DEBUG [data-process-log-p-4-t-16] dataloader - Process line Flow 1:95.73.34.9:53161 / 3:172.31.111.111:3661 1900 ToS/DiffServ: 11000 nextHop: 172.31.111.111 11-24/15:42:53 DEBUG [data-process-log-p-4-t-16] dataloader - Process line Flow 3:172.31.111.111:3661 / 1:95.73.34.9:53161 1012 ToS/DiffServ: 10000 nextHop: 95.73.36.126 |
|
| Автор: | Amir [ 24 ноя 2009, 19:05 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Нет, просто, если бы этот параметр стоял - возможно проблема бы была в мультипотоковой обработке. Значение в 200 потоков там точно не надо, если у вас хотя бы не 20 ядер 1-8 По умолчанию 1. |
|
| Автор: | Dog [ 24 ноя 2009, 19:21 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
ну я так ... с запасом небольшим поставил =) чтобы точно не промахнуться что еще проверить? смысл в том, что до этого все работало нормально. не так давно поменяли маршрутизацию на микротике, откуда сыпется статистика. убрали маскардинг и поставили нат. и спустя пару дней заметили, что значение трафика в отчётах перестало изменяться (~1000 - 2000 мб в день), но тут на лицо проблема в том, что статистика с микротика приходит верная, источник и назначение в логах верное, интерфейсы правильные, объёмы правильные, а вот обработки насколько я понимаю нет. |
|
| Автор: | Администратор [ 24 ноя 2009, 19:50 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Цитата: [root@bill log]# grep "95.73.34.9" 2009-11-22-14.log Вы учитываете, что там файлы ротейтятся dataloader.log? Вообще трафик какой-нибудь остается на договоре? Вы пробовали "ручками" посчитать по первичной детализации за какой-нибудь час и сравнить с биллингом? |
|
| Автор: | Dog [ 25 ноя 2009, 19:07 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
руками конешно не считал, но на вскидку для примера: Код: [root@bill BGIPNNetflowCollector]# grep "81.30.206" 2009-11-25-15.txt 1259153078190 81.30.206.92 80 172.31.111.111 63150 36514 1 3 1259153078190 172.31.111.111 63150 81.30.206.92 80 6192 3 1 1259153078190 81.30.206.92 80 172.31.111.111 63149 22694 1 3 1259153078190 172.31.111.111 63149 81.30.206.92 80 5368 3 1 1259153078190 81.30.206.92 80 172.31.111.111 63148 44097 1 3 1259153078190 172.31.111.111 63148 81.30.206.92 80 6006 3 1 1259153078190 81.30.206.92 80 172.31.111.111 63154 1080 1 3 1259153078190 172.31.111.111 63154 81.30.206.92 80 1314 3 1 1259153148190 172.31.111.111 63150 81.30.206.92 80 80 3 1 1259153148190 172.31.111.111 63149 81.30.206.92 80 80 3 1 1259153148190 172.31.111.111 63148 81.30.206.92 80 80 3 1 1259153148190 172.31.111.111 63154 81.30.206.92 80 80 3 1 1259153148190 81.30.206.92 80 172.31.111.111 63150 80 1 3 1259153148190 81.30.206.92 80 172.31.111.111 63149 80 1 3 1259153148190 81.30.206.92 80 172.31.111.111 63148 80 1 3 1259153148190 81.30.206.92 80 172.31.111.111 63154 80 1 3 1259153214191 81.30.206.92 80 172.31.111.111 63152 25431620 1 3 1259153214191 172.31.111.111 63152 81.30.206.92 80 448560 3 1 1259153282191 172.31.111.111 63152 81.30.206.92 80 80 3 1 1259153284190 81.30.206.92 80 172.31.111.111 63152 80 1 3 скачал ядро АСР с вашего сайта, 25 мб см. скрин статистики и видим что там даже не пахнет теми самыми 25 мб, хотя какой то трафик насчитало а вот выборки по вашему ip из dataloader.log Код: [root@bill log]# grep "81.30.206.92" dataloader.log [root@bill log]# grep "81.30.206.92" dataloader.log.1 11-25/16:00:57 DEBUG [data-process-log-p-66-t-3] dataloader - Process line Flow 1:81.30.206.92:80 / 3:172.31.111.111:63152 80 ToS/DiffServ: 10001 nextHop: 172.31.111.111 [root@bill log]# grep "81.30.206.92" dataloader.log.2 11-25/15:57:54 DEBUG [data-process-log-p-65-t-8] dataloader - Process line Flow 1:81.30.206.92:80 / 3:172.31.111.111:63152 80 ToS/DiffServ: 10001 nextHop: 172.31.111.111 как понимать, не знаю, но трафик явно приходит с источника, а вот после обработки его не видно |
|
| Автор: | Администратор [ 25 ноя 2009, 19:23 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Выложите время модификации файлов dataloader.log после обработки. Вообще удалите их, перезапустите даталодер и сделайте обработку только этого часа. Сколько логов dataloader.* создалось? Может, заполнило все логи, просто хвост в них остался.. |
|
| Автор: | Dog [ 25 ноя 2009, 20:26 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
удалил все файлы dataloader.log перезапустил dataloader остановил коллектор Код: [root@bill BGIPNNetflowCollector]# ./netflow_start.sh [root@bill BGIPNNetflowCollector]# ./netflow.sh isload 3 2009-11-25-15 OK log is marked, process started.. [root@bill BGIPNNetflowCollector]# cd log [root@bill log]# ls -l п╦я┌п╬пЁп╬ 27632 -rw-r--r-- 1 root root 6886970 п²п╬я▐ 23 16:33 2009-11-22-14.log -rw-r--r-- 1 root root 9760017 п²п╬я▐ 24 15:46 2009-11-22-14.log2 -rw-r--r-- 1 root root 1196 п²п╬я▐ 25 17:17 collector.log -rw-r--r-- 1 root root 1086272 п²п╬я▐ 25 17:17 dataloader.log -rw-r--r-- 1 root root 10485802 п²п╬я▐ 25 17:17 dataloader.log.1 -rw-r--r-- 1 root root 71 п²п╬я▐ 25 17:16 detail.log -rw-r--r-- 1 root root 0 п²п╬я▐ 25 17:16 error.log -rw-r--r-- 1 root root 135 п²п╬я▐ 25 17:16 generator.log -rw-r--r-- 1 root root 1137 п²п╬я▐ 25 17:16 loader.log -rw-r--r-- 1 root root 0 п²п╬я▐ 25 17:16 netflow.out [root@bill log]# grep "81.30.206" dataloader.log [root@bill log]# grep "81.30.206" dataloader.log.1 11-25/17:17:11 DEBUG [data-process-log-p-4-t-3] dataloader - Process line Flow 1:81.30.206.92:80 / 3:172.31.111.111:63152 80 ToS/DiffServ: 10001 nextHop: 172.31.111.111 Код: [root@bill BGIPNNetflowCollector]# ./netflow.sh save 3 2009-11-25-15 2009-11-25-15
Saving started.. [root@bill BGIPNNetflowCollector]# grep "81.30.206" 2009-11-25-15 1259153078190 81.30.206.92 80 172.31.111.111 63150 36514 1 3 1259153078190 172.31.111.111 63150 81.30.206.92 80 6192 3 1 1259153078190 81.30.206.92 80 172.31.111.111 63149 22694 1 3 1259153078190 172.31.111.111 63149 81.30.206.92 80 5368 3 1 1259153078190 81.30.206.92 80 172.31.111.111 63148 44097 1 3 1259153078190 172.31.111.111 63148 81.30.206.92 80 6006 3 1 1259153078190 81.30.206.92 80 172.31.111.111 63154 1080 1 3 1259153078190 172.31.111.111 63154 81.30.206.92 80 1314 3 1 1259153148190 172.31.111.111 63150 81.30.206.92 80 80 3 1 1259153148190 172.31.111.111 63149 81.30.206.92 80 80 3 1 1259153148190 172.31.111.111 63148 81.30.206.92 80 80 3 1 1259153148190 172.31.111.111 63154 81.30.206.92 80 80 3 1 1259153148190 81.30.206.92 80 172.31.111.111 63150 80 1 3 1259153148190 81.30.206.92 80 172.31.111.111 63149 80 1 3 1259153148190 81.30.206.92 80 172.31.111.111 63148 80 1 3 1259153148190 81.30.206.92 80 172.31.111.111 63154 80 1 3 1259153214191 81.30.206.92 80 172.31.111.111 63152 25431620 1 3 1259153214191 172.31.111.111 63152 81.30.206.92 80 448560 3 1 1259153282191 172.31.111.111 63152 81.30.206.92 80 80 3 1 1259153284190 81.30.206.92 80 172.31.111.111 63152 80 1 3 1259153732190 81.30.206.92 80 172.31.111.111 63692 139148 1 3 1259153732190 172.31.111.111 63692 81.30.206.92 80 14596 3 1 1259153732190 81.30.206.92 80 172.31.111.111 63695 170088 1 3 1259153732190 172.31.111.111 63695 81.30.206.92 80 20575 3 1 1259153732191 81.30.206.92 80 172.31.111.111 63693 60163 1 3 1259153732191 81.30.206.92 80 172.31.111.111 63691 108499 1 3 1259153732191 172.31.111.111 63691 81.30.206.92 80 19996 3 1 1259153732191 81.30.206.92 80 172.31.111.111 63694 60409 1 3 1259153732191 172.31.111.111 63694 81.30.206.92 80 16719 3 1 1259153732191 172.31.111.111 63693 81.30.206.92 80 20450 3 1 1259153802190 172.31.111.111 63692 81.30.206.92 80 80 3 1 1259153802190 172.31.111.111 63695 81.30.206.92 80 80 3 1 1259153802190 172.31.111.111 63693 81.30.206.92 80 80 3 1 1259153802190 172.31.111.111 63691 81.30.206.92 80 80 3 1 1259153802190 172.31.111.111 63694 81.30.206.92 80 80 3 1 1259153802190 81.30.206.92 80 172.31.111.111 63692 80 1 3 1259153802190 81.30.206.92 80 172.31.111.111 63695 80 1 3 1259153802190 81.30.206.92 80 172.31.111.111 63693 80 1 3 1259153802190 81.30.206.92 80 172.31.111.111 63691 80 1 3 1259153802190 81.30.206.92 80 172.31.111.111 63694 80 1 3 |
|
| Автор: | Amir [ 26 ноя 2009, 14:49 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Можете дать доступ по ssh? |
|
| Автор: | Dog [ 26 ноя 2009, 15:45 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
в личных сообщениях |
|
| Автор: | Amir [ 26 ноя 2009, 17:20 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
На тестовом сервере добавил адрес 81.30.206.92, добавил в обработку 15 час, получилось 6 2009-11-25 15 244 455 3297 146 26075112 Т.е. так же как и в сумме grep "81.30.206" 2009-11-25-15.txt |
|
| Автор: | D.Kvasov [ 27 ноя 2009, 14:40 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Добрый день. В скором времени мы планируем перевести на Ваш биллинг всех наших клиентов, в данный момент через него работают только новые клиенты. Это порядка 130 физ. и юр. лиц, часть из которых сидят на тарифах с ограничением по трафику, который уже неделю не считается. Вопрос стоит очень остро, и мы готовы оплатить Вашу тех. поддержу, уже сделали запрос, но увы пока не получили счет. Это конечно хорошо, что на тестовом сервере в Уфе все замечательно считается, но нам необходимо, чтобы считалось у нас. Давайте найдем причину неполадки. |
|
| Автор: | Amir [ 27 ноя 2009, 18:29 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Доступа (логина/пароля) к клиенту не было, потому на тот момент смог только таким образом проверить. Давайте доступ также в личку... Проверьте привязки услуг. |
|
| Автор: | Dog [ 27 ноя 2009, 20:30 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Добрый вечер, привязок услуг две, идентичные, структура показана по теме выше. обе не менялись ни до, ни после начала проблем с подсчётом трафика. |
|
| Автор: | Dog [ 28 ноя 2009, 05:41 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Доброго времени, через 1 день аптайма, на почту начали сыпаться подобные оповещения: Код: [BGIPNNetflowCollector] Недостаток памяти системы ID события: system.no.memory Время регистрации события: 28.11.2009 08:50:58 Приложению недостаточно выделенной для него памяти! Зарезервировано 258539520 из 258539520 (максимум) байтов памяти. Сейчас свободно: 100472008 байтов. хотя до этого работало 1.5 месяца аптайма и ничего подобного не было замечено. что начало "отъедать" у процесса память? |
|
| Автор: | Amir [ 30 ноя 2009, 17:12 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
У вас в конфиге источника Код: ignore.by.zero.dst.iface=1 В логах Код: 11-30/14:00:36 DEBUG [data-process-log-p-54-t-4] dataloader - Ignored because dst iface=0 Цитата: через 1 день аптайма, на почту начали сыпаться подобные оповещения: Может быть детализацию делаете? Попробуйте поставить 512 МБ. |
|
| Автор: | Dog [ 30 ноя 2009, 18:19 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Amir писал(а): У вас в конфиге источника Код: ignore.by.zero.dst.iface=1 В логах Код: 11-30/14:00:36 DEBUG [data-process-log-p-54-t-4] dataloader - Ignored because dst iface=0 ну да, игнор нулевого интерфейса, только вот помимо этого игнорится и трафик который идёт между 1 и 3 интерфейсом, причем в этом случае вообще глухо в логах. посмотрите выше пример со скачиванием ядра биллинга с вашего сайта, там с интерфейсами все правильно, но трафик так и не начислен абоненту. Amir писал(а): Может быть детализацию делаете? Попробуйте поставить 512 МБ. детализацию не делаем. попробывать то можно, только стоит ли лечить симптомы, может быть нужно понять причину? |
|
| Автор: | Amir [ 30 ноя 2009, 18:32 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Цитата: ну да, игнор нулевого интерфейса, только вот помимо этого игнорится и трафик который идёт между 1 и 3 интерфейсом, причем в этом случае вообще глухо в логах. посмотрите выше пример со скачиванием ядра биллинга с вашего сайта, там с интерфейсами все правильно, но трафик так и не начислен абоненту. Я ставил ignore.by.zero.dst.iface=0, переобработал 2009-11-25-15 - сумма сошлась с netflow.sh save по входящему на 172.31.111.111. Считать количество по отладочным логам - не правильно, потому что логи ротейтятся. |
|
| Автор: | Dog [ 30 ноя 2009, 18:58 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Amir писал(а): Цитата: ну да, игнор нулевого интерфейса, только вот помимо этого игнорится и трафик который идёт между 1 и 3 интерфейсом, причем в этом случае вообще глухо в логах. посмотрите выше пример со скачиванием ядра биллинга с вашего сайта, там с интерфейсами все правильно, но трафик так и не начислен абоненту. Я ставил ignore.by.zero.dst.iface=0, переобработал 2009-11-25-15 - сумма сошлась с netflow.sh save по входящему на 172.31.111.111. Считать количество по отладочным логам - не правильно, потому что логи ротейтятся. Цитата: В конфигурации источника типа NetFlow возможно указание опции: ignore.by.zero.dst.iface=1 - пропускать пакеты с нулевым интерфейсом назначения, т.к. на аппаратуре CISCO это означает что пакет не получил клиент да, я смотрю, после изменения этого параметра, цифры в статистике стали похожи на правду (покрайней мере за периоды, когда проводились тесты). но поясните пожалуйста, как этот параметр мог так влиять на статистику, если исходя из первичных логов: Код: 1259153214191 81.30.206.92 80 172.31.111.111 63152 25431620 1 3 т.е. 25431620 байт пришло с первого интерфейса и ушло на третий интерфейс, а в статистике за этот период трафика было не больше 3-5 мегабайт? вопщем пока посмотрим насколько верно считается трафик сейчас. |
|
| Автор: | Amir [ 30 ноя 2009, 19:01 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Цитата: детализацию не делаем. По логам детализация отправлялась. Еще может быть от того что 150 потоков поставили собирать netflow логи, когда по умолчанию 10 стоит. Также может быть что на обработку памяти не хватает, тогда просто нужно увеличить. В любом случае - это предупреждение. Если действительно не хватило памяти на операцию, то в логах будет OutOfMemory Error. |
|
| Автор: | Amir [ 30 ноя 2009, 19:09 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
Цитата: но поясните пожалуйста, как этот параметр мог так влиять на статистику, если исходя из первичных логов Выложили обновление коллектора, теперь опция работает как должна. |
|
| Автор: | Dog [ 01 дек 2009, 19:32 ] |
| Заголовок сообщения: | Re: Пропадает большая часть трафика |
обновление поставило всё на свои места. спасибо |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|