forum.bitel.ru
http://forum.bitel.ru/

Вопрос по коллектору
http://forum.bitel.ru/viewtopic.php?f=7&t=5811
Страница 1 из 2

Автор:  dm777 [ 23 авг 2011, 10:37 ]
Заголовок сообщения:  Вопрос по коллектору

Не отображается трафик на договоре

Вложения:
Комментарий к файлу: В списке таблиц нет таблицы ipn_contract_data вместо нее ipn_contract_data_1_201108
showtables.png
showtables.png [ 54.18 КБ | Просмотров: 17864 ]
Комментарий к файлу: менеджер источников показывает что все загружается
Менеджер источников.png
Менеджер источников.png [ 43.92 КБ | Просмотров: 17864 ]
Комментарий к файлу: Коллектор настроен на обработку логов получаемых flow-tools
config.png
config.png [ 92.23 КБ | Просмотров: 17864 ]

Автор:  skyb [ 23 авг 2011, 10:45 ]
Заголовок сообщения:  Re: Вопрос по коллектору

что значит не отображает? Дайте больше информации

Автор:  dm777 [ 23 авг 2011, 12:52 ]
Заголовок сообщения:  Re: Вопрос по коллектору

как то так

Вложения:
Комментарий к файлу: Адрес абонента белый, в правилах привязки указан весь входящий и диапазон 0/255.255.255.255 пробовали также 0/0
Адрес абонента.png
Адрес абонента.png [ 69.63 КБ | Просмотров: 17855 ]
Комментарий к файлу: Здесь нет ничего нет, в логах flow записи о трафике есть (проверили)
Отчет IPN.png
Отчет IPN.png [ 67.62 КБ | Просмотров: 17855 ]

Автор:  skyb [ 23 авг 2011, 13:06 ]
Заголовок сообщения:  Re: Вопрос по коллектору

У вас логи от куда идут? dialup перенаправляет? или сторонний сборщик?

Автор:  georgdts [ 23 авг 2011, 13:13 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Покажите/проверьте настройки в "Привязка услуг" и "Интерфейсы и зоны"...

Автор:  dm777 [ 23 авг 2011, 14:08 ]
Заголовок сообщения:  Re: Вопрос по коллектору

У нас только IPN
собирает flow-tools
запускается так
-N 3 -w /usr/local/collector/flow/source_1 -n 95 -R /usr/bin/rotate_1.pl 0/192.168.253.1/2004

Источник flow mikrotik c адресом 192.168.253.1 порт 2004
адрес машины с биллингом 192.168.253.10
логи в /usr/local/collector/flow/source_1 есть

в конфиге bgipn...

port.admin=2003
collector.mid=1

....

log.dir=/usr/local/collector/flow
load=0
process=1
sources=1

Вложения:
Комментарий к файлу: Привязки
План привязок.png
План привязок.png [ 60.48 КБ | Просмотров: 17850 ]
Комментарий к файлу: Только глобальная зона
Интерфейсы и зоны.png
Интерфейсы и зоны.png [ 45.16 КБ | Просмотров: 17850 ]

Автор:  georgdts [ 23 авг 2011, 19:33 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Попробуйте в привязке услуг указать ip не 0.0.0.0-255.255.255.255, а 0.0.0.0-0.0.0.0 и в входящем и в исходящем.

Автор:  dm777 [ 23 авг 2011, 20:39 ]
Заголовок сообщения:  Re: Вопрос по коллектору

пробовал по разному

Автор:  Феанор [ 24 авг 2011, 09:15 ]
Заголовок сообщения:  Re: Вопрос по коллектору

у меня начало считаться только когда порты совпадали в конфигурации (у вас -1, у меня 0 был), с тем что было в нетфлоу (там 0 был у меня)

Автор:  dm777 [ 24 авг 2011, 13:23 ]
Заголовок сообщения:  Re: Вопрос по коллектору

решил попробовать в режиме коллектора
в конфиге поставил load=1
и он перестал запускаться
теперь даже ставишь load=0 то же самое

collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - java.lang.reflect.InvocationTargetException
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.lang.reflect.Method.invoke(Method.java:601)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at ru.bitel.common.bootstrap.Boot.boot(Boot.java:129)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at ru.bitel.common.bootstrap.Boot.main(Boot.java:178)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - Caused by: java.lang.NoClassDefFoundError: ru/bitel/bgbilling/modules/ipn/collector/IPNFlowListener
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Collector.addFlowListener(Collector.java:209)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Collector.<init>(Collector.java:128)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:234)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - ... 6 more
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - Caused by: java.lang.ClassNotFoundException: ru.bitel.bgbilling.modules.ipn.collector.IPNFlowListener
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.security.AccessController.doPrivileged(Native Method)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - ... 9 more

Автор:  dm777 [ 24 авг 2011, 13:24 ]
Заголовок сообщения:  Re: Вопрос по коллектору

dm777 писал(а):
решил попробовать в режиме коллектора
в конфиге поставил load=1
и он перестал запускаться
теперь даже ставишь load=0 то же самое

collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - java.lang.reflect.InvocationTargetException
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.lang.reflect.Method.invoke(Method.java:601)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at ru.bitel.common.bootstrap.Boot.boot(Boot.java:129)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at ru.bitel.common.bootstrap.Boot.main(Boot.java:178)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - Caused by: java.lang.NoClassDefFoundError: ru/bitel/bgbilling/modules/ipn/collector/IPNFlowListener
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Collector.addFlowListener(Collector.java:209)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Collector.<init>(Collector.java:128)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:234)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - ... 6 more
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - Caused by: java.lang.ClassNotFoundException: ru.bitel.bgbilling.modules.ipn.collector.IPNFlowListener
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.security.AccessController.doPrivileged(Native Method)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
collector 08-24/11:05:11 ERROR [main] LoggingPrintStream - ... 9 more

версия java 1.7.0

Автор:  georgdts [ 24 авг 2011, 13:29 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Со слов разработчиков:
Цитата:
Яву использовать только шестую.

Автор:  dm777 [ 24 авг 2011, 13:35 ]
Заголовок сообщения:  Re: Вопрос по коллектору

georgdts писал(а):
Со слов разработчиков:
Цитата:
Яву использовать только шестую.


Эх ...

Автор:  dm777 [ 24 авг 2011, 14:41 ]
Заголовок сообщения:  Re: Вопрос по коллектору

dm777 писал(а):
georgdts писал(а):
Со слов разработчиков:
Цитата:
Яву использовать только шестую.


Эх ...


поставил 1.6.26 тоже самое ....

Автор:  dm777 [ 24 авг 2011, 14:49 ]
Заголовок сообщения:  Re: Вопрос по коллектору

dm777 писал(а):
dm777 писал(а):
georgdts писал(а):
Со слов разработчиков:
Цитата:
Яву использовать только шестую.


Эх ...


поставил 1.6.26 тоже самое ....


при выключении коллектора load=0 запускается
при load=1 нет

Автор:  Amir [ 24 авг 2011, 17:24 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Версия 5.2? update.sh в коллекторе запускали?

Автор:  dm777 [ 24 авг 2011, 19:43 ]
Заголовок сообщения:  Re: Вопрос по коллектору

да 5.2
update.sh
запускал

Автор:  Amir [ 25 авг 2011, 11:59 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Выложили обновление модуля. Попробуйте.

Автор:  dm777 [ 25 авг 2011, 18:23 ]
Заголовок сообщения:  Re: Вопрос по коллектору

обновление помогло спасибо

Автор:  AngelDust [ 07 мар 2012, 16:58 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Аналогичная проблема. Не отображает траффик в договоре.
Все обновлял. Версии:
Изображение

Коллектор данные собирает, файлики физически падают туда, куда им положено:

Изображение

Настройки netflow.ipn:

Изображение

Модуль открыт:

Изображение

Не могу понять в чем дело. :(

Привязка услуг:

Изображение

Но траффик не отображается:

Изображение

Автор:  Amir [ 08 мар 2012, 04:55 ]
Заголовок сообщения:  Re: Вопрос по коллектору

А в логах коллектора что-нибудь есть про process?
А если добавить в обработку вручную в менеджере источников?

Автор:  AngelDust [ 11 мар 2012, 13:29 ]
Заголовок сообщения:  Re: Вопрос по коллектору

dataloader.log
Bean create => 18 Processed lines => 238; inserts => 0; errors => 0; time => 111 ms.
03-11/10:00:50 INFO [Thread-13] dataloader - Processing source:1 time: 2012-03-11 09:00:00.0
03-11/10:00:50 INFO [Thread-13] dataloader - proccess [ 11-03-2012 09:00:00; mid => 1; param => 1 ]
Bean create => 2 Processed lines => 238; inserts => 0; errors => 0; time => 81 ms.
03-11/11:00:52 INFO [Thread-13] dataloader - Processing source:1 time: 2012-03-11 10:00:00.0
03-11/11:00:52 INFO [Thread-13] dataloader - proccess [ 11-03-2012 10:00:00; mid => 1; param => 1 ]
Bean create => 2 Processed lines => 238; inserts => 0; errors => 0; time => 91 ms.

collector.log
03-10/00:00:38 INFO [Thread-11] collector - Reload source list [types: snmp; sourceIds: 1]
03-10/00:00:38 INFO [Thread-10] collector - Reload source list [types: netflow,sflow; sourceIds: 1]
03-10/00:00:38 INFO [Thread-11] collector - IP: 109.205.80.34 => 1
03-11/00:00:39 INFO [Thread-10] collector - Reload source list [types: netflow,sflow; sourceIds: 1]
03-11/00:00:39 INFO [Thread-11] collector - Reload source list [types: snmp; sourceIds: 1]
03-11/00:00:39 INFO [Thread-11] collector - IP: 109.205.80.34 => 1

Вручную добавлял. Обводил все мышкой и говорил "Добавить в обработку (текущий источник).

Автор:  AngelDust [ 15 мар 2012, 17:28 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Аууу, разработчики! Ни у кого идей нет? Не хочется с другим биллингом ковыряться, уже достаточно времени на этот потратил.

Автор:  Amir [ 15 мар 2012, 17:47 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Обработка вроде бы проходит, но не находит подходящий диапазон в договоре.
Возможно в netflow нет записей с этим диапазоном или диапазон заведен неверно.
Поменяйте режим логирования с info на debug в log4j-collector.xml.

http://wiki.bgbilling.ru/index.php/Методика_определения_причины_отсутствия_трафика_в_отчете_договора

Автор:  AngelDust [ 15 мар 2012, 18:32 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Вот такая картина означает что?

03-15/16:22:27 DEBUG [Thread-13] dataloader - Process line Flow -1:0.0.0.0:0 / 1:0.0.0.0:0 1394 next
Hop: 0.0.0.0
03-15/16:22:27 DEBUG [Thread-13] dataloader - addr=0; range.start=0; range.end=0
03-15/16:22:27 DEBUG [Thread-13] dataloader - Find any iface list
03-15/16:22:27 DEBUG [Thread-13] dataloader - addr=0; range.start=0; range.end=0
03-15/16:22:27 DEBUG [Thread-13] dataloader - Find any iface list
03-15/16:22:27 DEBUG [Thread-13] dataloader - addr=0; range.start=0; range.end=0
03-15/16:22:27 DEBUG [Thread-13] dataloader - Ignoring: sourceId:1 Flow -1:0.0.0.0:0 / 1:0.0.0.0:0 1
394 nextHop: 0.0.0.0

Автор:  Amir [ 15 мар 2012, 18:38 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Как будто в netflow адреса 0.0.0.0. Либо с файлом лога что-то, либо действительно в netflow такие адреса.

Автор:  AngelDust [ 15 мар 2012, 18:47 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Где посоветуете мне копать? Явно не хватает самой малости.

Автор:  Amir [ 15 мар 2012, 20:56 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Попробуйте выгрузить в текстовый файл логи /netflow.sh save, как в ссылке описано.
Посмотрите через tcpdump или wireshark, что приходит в пакетах netflow.

Автор:  AngelDust [ 16 мар 2012, 15:57 ]
Заголовок сообщения:  Re: Вопрос по коллектору

лог /netflow.sh save

Timestamp FromIp FromPort ToIp ToPort Bytes FromIface ToIface
1331798441409 0.0.0.0 0 0.0.0.0 0 79892 2 -1
1331798441409 0.0.0.0 0 0.0.0.0 0 92430 -1 2
1331798501338 0.0.0.0 0 0.0.0.0 0 1394 1 -1
1331798501338 0.0.0.0 0 0.0.0.0 0 1394 -1 1
1331798501340 0.0.0.0 0 0.0.0.0 0 79638 2 -1
1331798501340 0.0.0.0 0 0.0.0.0 0 90756 -1 2
1331798561338 0.0.0.0 0 0.0.0.0 0 1394 1 -1
1331798561338 0.0.0.0 0 0.0.0.0 0 1394 -1 1
1331798561339 0.0.0.0 0 0.0.0.0 0 80923 2 -1
1331798561339 0.0.0.0 0 0.0.0.0 0 92231 -1 2
1331798621338 0.0.0.0 0 0.0.0.0 0 1394 1 -1

Что-то идет. Забираю статистику я по snmp.

Автор:  Amir [ 16 мар 2012, 16:29 ]
Заголовок сообщения:  Re: Вопрос по коллектору

Ну тогда все правильно - при сборе по snmp отсутствует информация по ip адресам, там только счетчики на интерфейсах.
Т.е. нельзя в диапазоне адресов задавать отдельные диапазоны, только 0.0.0.0-255.255.255.255, а клиентов разделять по интерфейсам. По snmp только так.

Страница 1 из 2 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/