forum.bitel.ru
http://forum.bitel.ru/

Переобработка NetFlow трафика
http://forum.bitel.ru/viewtopic.php?f=5&t=2202		 Страница 1 из 1
Автор:  Djubal [ 17 апр 2009, 10:43 ]
Заголовок сообщения:  Переобработка NetFlow трафика
Наша компания планирует перейти на ваш биллинг, в связи с чем идет тестирование продукта.

Сейчас не получается выполнить переобработку NetFlow трафика модуля Dial-UP. Сбор статистики IPNNetflow ведется. При запуске в логах сервера

scheduler.log:
Код:
04-17/11:26:40  INFO [pool-1-thread-1] scheduler - Processing NAS 1 hour 17.04.09 11
04-17/11:34:17  WARN [Finalizer] BGDataLog - DataLog was open on finalize! /usr/local/NetFlow/ipn_log/source_1/2009/2
009-04/2009-04-17/log_2009-04-17-11.000.bgdl


scheduler.out:
Код:
Checking port 9066...
Port is free starting the applicalion...
Starting TEProccessManager on 9066
Creating socket on 9066
Exception in thread "pool-1-thread-1" java.lang.NoClassDefFoundError: bitel/billing/server/ext/ByteBufferFactory
        at ru.bitel.bgbilling.server.util.datalog.BGDataLog.<init>(BGDataLog.java:65)
        at ru.bitel.bgbilling.server.util.ip.datalog.IPDataLog.<init>(IPDataLog.java:81)
        at ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLog.newDataLog(IPHourlyDataLog.java:52)
        at ru.bitel.bgbilling.server.util.datalog.hourly.HourlyDataLog.nextReader(HourlyDataLog.java:93)
        at bitel.billing.server.dialup.TrafficProcessor.run(TrafficProcessor.java:181)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.lang.Thread.run(Unknown Source)
Caused by: java.lang.ClassNotFoundException: bitel.billing.server.ext.ByteBufferFactory
        at java.net.URLClassLoader$1.run(Unknown Source)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(Unknown Source)
        at java.lang.ClassLoader.loadClass(Unknown Source)
        at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
        at java.lang.ClassLoader.loadClass(Unknown Source)
        at java.lang.ClassLoader.loadClassInternal(Unknown Source)
        ... 8 more


На форуме ответа к сожалению не нашел, подскажите в чем может быть причина ?
Автор:  Администратор [ 17 апр 2009, 13:31 ]
Заголовок сообщения: 
Обновление выложено, пробуйте. Неполная сборка.
Автор:  Djubal [ 20 апр 2009, 14:20 ]
Заголовок сообщения: 
Обновился, ошибка в scheduler.out больше не появляется, но в scheduler.log теперь вываливается такое:
Код:
04-17/15:55:11  INFO [pool-1-thread-5] scheduler - Processing NAS 1 hour 16.04.09 22
04-17/15:55:11  INFO [pool-1-thread-5] scheduler - OK
04-17/15:55:11  INFO [pool-1-thread-5] scheduler - Processing NAS 1 hour 16.04.09 23
04-17/15:55:12 ERROR [pool-1-thread-5] scheduler -
java.lang.NullPointerException
        at bitel.billing.server.dialup.traffic.SessionTrafficCache$SessionData.calcDependTrafics(SessionTrafficCache.
java:162)
        at bitel.billing.server.dialup.traffic.SessionTrafficCache.flushCache(SessionTrafficCache.java:68)
        at bitel.billing.server.dialup.TrafficProcessor.run(TrafficProcessor.java:235)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)

и переобработка не проходит, а если делаю переобработку за день когда не было сессий, то все нормально проходит:
Код:
04-17/16:03:50  INFO [pool-1-thread-1] scheduler - Processing NAS 1 hour 15.04.09 23
04-17/16:03:50  INFO [pool-1-thread-1] scheduler - OK
04-17/16:03:50  INFO [pool-1-thread-1] scheduler - DialUp traffic process result:

04-17/16:03:50  INFO [pool-1-thread-1] scheduler - Запуск обработки трафиков => 17.04.2009 16:03:50

Период: 15.04.2009-15.04.2009

Окончание обработки трафиков => 17.04.2009 16:03:50
Автор:  Djubal [ 20 апр 2009, 16:02 ]
Заголовок сообщения: 
Обновились. Ошибка осталась, переобработка не проходит.
Автор:  Администратор [ 20 апр 2009, 16:29 ]
Заголовок сообщения: 
Можете в личку доступ к тестовому серверу сбросить и указать, для какой сессии переобработка идет?
Автор:  Djubal [ 20 апр 2009, 17:38 ]
Заголовок сообщения: 
У нас начисление (Обсчет сессий) проходят нормально, проблема с переобработкой NetFlow Трафика (переобработка трафиков сессий).

По доступу отправил в личку.
Автор:  Djubal [ 21 апр 2009, 04:32 ]
Заголовок сообщения: 
Может ПС не прошла.

Для какого ip открыть доступ ?
Автор:  Администратор [ 21 апр 2009, 15:22 ]
Заголовок сообщения: 
Обновление выложил. У вас MAX, SUM трафики не используются?
Автор:  Djubal [ 23 апр 2009, 08:59 ]
Заголовок сообщения: 
MAX и SUM трафики не используем.

Обновились до последней версии по всем модулям, обновили радиус DialUP и коллектор IPN

Сейчас выходит другая ошибка при запуске переобработки трафика NetFlow

Код:
04-22/19:01:22  INFO [pool-1-thread-3] scheduler - OK
04-22/19:01:22  INFO [pool-1-thread-3] scheduler - Processing NAS 1 hour 22.04.09 22
04-22/19:01:22  INFO [pool-1-thread-3] scheduler - OK
04-22/19:01:22  INFO [pool-1-thread-3] scheduler - Processing NAS 1 hour 22.04.09 23
04-22/19:01:22 ERROR [pool-1-thread-3] scheduler - Duplicate entry '96-5-2009-04-22 17:00:00' for key 1
com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry '96-5-2009-04-22 17:00:00
' for key 1
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
        at java.lang.reflect.Constructor.newInstance(Unknown Source)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)
        at com.mysql.jdbc.Util.getInstance(Util.java:381)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1015)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3515)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3447)
        at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1951)
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2101)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2554)
        at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1761)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2046)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:1964)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:1949)
        at org.apache.commons.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:233)
        at bitel.billing.server.dialup.traffic.SessionTrafficCache.flushTraffics(SessionTrafficCache.java:98)
        at bitel.billing.server.dialup.traffic.SessionTrafficCache.flushCache(SessionTrafficCache.java:71)
        at bitel.billing.server.dialup.TrafficProcessor.run(TrafficProcessor.java:235)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
        at java.lang.Thread.run(Unknown Source)
Автор:  Djubal [ 23 апр 2009, 10:12 ]
Заголовок сообщения: 
Провели некоторый разбор полетов возникновения ошибки.

Нашли что возникает она в тот момент когда процесс переобработки netflow трафика пробует записать данные в таблицу session_detail_{mid}_YYYYMM для сессий за период переобработки, но данные в таблице по этим сессиям уже есть и поэтому выходит ошибка дубля.

После удаления через запрос sql данные для сессий за период переобработки из таблицы session_detail_{mid}_YYYYMM переобработка netflow трафика прошла успешно, и в таблице session_detail_{mid}_YYYYMM появились записи по сессиям для которых проводилась переобработка, но в поле cid вместо кода договора, мы получили значение '0'.
Автор:  Администратор [ 23 апр 2009, 12:09 ]
Заголовок сообщения: 
Скиньте, пожалуйста, в личку тестовый договор и контрольную сессию, которую наблюдали. И доступ ССШ пропишите для 81,30,206,92. Вы правила аггрегации session_detail не ставили?
Автор:  Djubal [ 23 апр 2009, 12:44 ]
Заголовок сообщения: 
Агрегацию session_detail использовали, сейчас из тарифа пока убрали.

По доступу ответил в личку.
Автор:  Администратор [ 24 апр 2009, 10:46 ]
Заголовок сообщения: 
Доступ не проходит, поправьте пожалуйста..
Автор:  Djubal [ 24 апр 2009, 14:36 ]
Заголовок сообщения: 
Поправили
Автор:  Администратор [ 24 апр 2009, 17:07 ]
Заголовок сообщения: 
Снова не проходит, отписал в личку.
Автор:  Djubal [ 24 апр 2009, 17:32 ]
Заголовок сообщения: 
ответил в личку
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/