forum.bitel.ru
http://forum.bitel.ru/

Детализация трафика IPN
http://forum.bitel.ru/viewtopic.php?f=7&t=4310		 Страница 1 из 1
Автор:  logicall [ 19 июл 2010, 11:48 ]
Заголовок сообщения:  Детализация трафика IPN
Добрый день.

Пытаюсь сделать детализацию трафика клиента через IPN, но не выходит... В error.log сыпятся ошибки

Код:
..........
detail 07-19/14:45:10 ERROR [Thread-16] NetflowDataLogReader - null NetflowDataLogReader [file: /srv/BGBilling/BGIPNNetflowCollector/logs/source_1/2010/2010-06/2010-06-16/log_2010-06-16-08.000.bgdl; chunkSize=393216]
java.io.IOException
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:136)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.read(ZLIBReadableChannel.java:64)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel$ZLIBReadableChannelSync.read(ZLIBReadableChannel.java:25)
        at ru.bitel.bgbilling.server.util.datalog.DataLogReader.readBuffer(DataLogReader.java:37)
        at ru.bitel.bgbilling.server.util.datalog.BGDataLogReader.readBuffer(BGDataLogReader.java:59)
        at ru.bitel.bgbilling.server.util.ip.datalog.netflow.NetflowDataLogReader.readChunk(NetflowDataLogReader.java:44)
        at bitel.billing.server.netflow.ipn.detail.MonthFlowDetailMaker.createDetail(MonthFlowDetailMaker.java:118)
        at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:91)
Caused by: java.util.zip.DataFormatException: invalid literal/length code
        at java.util.zip.Inflater.inflateBytes(Native Method)
        at java.util.zip.Inflater.inflate(Inflater.java:238)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:125)
        ... 7 more
detail 07-19/14:45:10 ERROR [Thread-16] NetflowDataLogReader - null NetflowDataLogReader [file: /srv/BGBilling/BGIPNNetflowCollector/logs/source_1/2010/2010-06/2010-06-16/log_2010-06-16-08.000.bgdl; chunkSize=393216]
java.io.IOException
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:136)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.read(ZLIBReadableChannel.java:64)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel$ZLIBReadableChannelSync.read(ZLIBReadableChannel.java:25)
        at ru.bitel.bgbilling.server.util.datalog.DataLogReader.readBuffer(DataLogReader.java:37)
        at ru.bitel.bgbilling.server.util.datalog.BGDataLogReader.readBuffer(BGDataLogReader.java:59)
        at ru.bitel.bgbilling.server.util.ip.datalog.netflow.NetflowDataLogReader.readChunk(NetflowDataLogReader.java:44)
        at bitel.billing.server.netflow.ipn.detail.MonthFlowDetailMaker.createDetail(MonthFlowDetailMaker.java:118)
        at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:91)
Caused by: java.util.zip.DataFormatException: invalid literal/length code
        at java.util.zip.Inflater.inflateBytes(Native Method)
        at java.util.zip.Inflater.inflate(Inflater.java:238)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:125)
        ... 7 more
detail 07-19/14:45:10 ERROR [Thread-16] NetflowDataLogReader - null NetflowDataLogReader [file: /srv/BGBilling/BGIPNNetflowCollector/logs/source_1/2010/2010-06/2010-06-16/log_2010-06-16-08.000.bgdl; chunkSize=393216]
java.io.IOException
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:136)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.read(ZLIBReadableChannel.java:64)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel$ZLIBReadableChannelSync.read(ZLIBReadableChannel.java:25)
        at ru.bitel.bgbilling.server.util.datalog.DataLogReader.readBuffer(DataLogReader.java:37)
        at ru.bitel.bgbilling.server.util.datalog.BGDataLogReader.readBuffer(BGDataLogReader.java:59)
        at ru.bitel.bgbilling.server.util.ip.datalog.netflow.NetflowDataLogReader.readChunk(NetflowDataLogReader.java:44)
        at bitel.billing.server.netflow.ipn.detail.MonthFlowDetailMaker.createDetail(MonthFlowDetailMaker.java:118)
        at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:91)
Caused by: java.util.zip.DataFormatException: invalid literal/length code
        at java.util.zip.Inflater.inflateBytes(Native Method)
        at java.util.zip.Inflater.inflate(Inflater.java:238)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:125)
        ... 7 more
..........


С чем связана такая ошибка? Как можно поправить?
Автор:  snark [ 19 июл 2010, 18:46 ]
Заголовок сообщения:  Re: Детализация трафика IPN
случаем не родсвенная этой ошибка?
Автор:  logicall [ 19 июл 2010, 19:07 ]
Заголовок сообщения:  Re: Детализация трафика IPN
snark писал(а):
случаем не родсвенная этой ошибка?


1. У меня циска шлёт flow, а flow-fanout пересылает на BGIPNNetflowCollector и flow-capture.
2. Файлов нулевой длины нет.
Автор:  snark [ 19 июл 2010, 19:50 ]
Заголовок сообщения:  Re: Детализация трафика IPN
logicall писал(а):
flow-fanout пересылает на BGIPNNetflowCollector и flow-capture

потерь трафика замечено небыло?

по теме - как обычно, ждем разработчиков ;)
Автор:  logicall [ 20 июл 2010, 06:03 ]
Заголовок сообщения:  Re: Детализация трафика IPN
snark писал(а):
logicall писал(а):
flow-fanout пересылает на BGIPNNetflowCollector и flow-capture

потерь трафика замечено небыло?

по теме - как обычно, ждем разработчиков ;)

Да вроде не замечал потерь...
Автор:  logicall [ 20 июл 2010, 18:41 ]
Заголовок сообщения:  Re: Детализация трафика IPN
up
Автор:  stark [ 20 июл 2010, 19:20 ]
Заголовок сообщения:  Re: Детализация трафика IPN
какая версия биллинга ?
Автор:  logicall [ 21 июл 2010, 06:06 ]
Заголовок сообщения:  Re: Детализация трафика IPN
stark писал(а):
какая версия биллинга ?


BGBillingServer v 5.0 build 763 from 16.07.2010 15:00:25
ipn v.5.0 build 256 from 16.07.2010 15:00:49
Traffic collector for IPN v 5.0 build 234 from 13.05.2010 11:58:09
Автор:  logicall [ 21 июл 2010, 17:12 ]
Заголовок сообщения:  Re: Детализация трафика IPN
up
Автор:  logicall [ 22 июл 2010, 20:13 ]
Заголовок сообщения:  Re: Детализация трафика IPN
уважаемые разработчики, помогите пожалуйста решить эту проблему!

P.S.
ради интереса попробовал из консоли выгрузить полностью деталку за этот день и этот час - всё прошло на ура.
Автор:  Amir [ 23 июл 2010, 13:03 ]
Заголовок сообщения:  Re: Детализация трафика IPN
Какой-то файл похоже поврежден, но после этой ошибки обработка идет дальше...
Вы же делаете месячную детализацию? Хоть что-нибудь в папке детализации появляется?
Автор:  logicall [ 23 июл 2010, 19:27 ]
Заголовок сообщения:  Re: Детализация трафика IPN
Amir писал(а):
Какой-то файл похоже поврежден, но после этой ошибки обработка идет дальше...
Вы же делаете месячную детализацию? Хоть что-нибудь в папке детализации появляется?

Делаю детализацию за месяц. Доходит до 16 числа и останавливается с такой ошибкой. Далее не продолжается.
Автор:  logicall [ 26 июл 2010, 11:10 ]
Заголовок сообщения:  Re: Детализация трафика IPN
Обновил NetFlowCollector до build 235 from 23.07.2010 13:25:41

делаю деталку с 16 по 30 июня. деталку делает, но есть ошибка

log из detail.log
Код:
07-26/09:09:09  INFO [Thread-16] DetailMaker - Started detail maker...
07-26/09:11:34  INFO [Thread-16] DetailMaker - Starting detail task...
07-26/09:11:34  INFO [Thread-16] MonthFlowDetailMaker - Create part of mount detail...
07-26/09:11:54 ERROR [Thread-16] NetflowDataLogReader - null NetflowDataLogReader [file: /srv/BGBilling/BGIPNNetflowCollector/logs/source_1/2010/2010-06/2010-06-16/log_2010-06-16-08.000.bgdl; chunkSize=393216]
java.io.IOException
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:136)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.read(ZLIBReadableChannel.java:64)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel$ZLIBReadableChannelSync.read(ZLIBReadableChannel.java:25)
        at ru.bitel.bgbilling.server.util.datalog.DataLogReader.readBuffer(DataLogReader.java:40)
        at ru.bitel.bgbilling.server.util.datalog.BGDataLogReader.readBuffer(BGDataLogReader.java:59)
        at ru.bitel.bgbilling.server.util.ip.datalog.netflow.NetflowDataLogReader.readChunk(NetflowDataLogReader.java:44)
        at bitel.billing.server.netflow.ipn.detail.MonthFlowDetailMaker.createDetail(MonthFlowDetailMaker.java:118)
        at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:91)
Caused by: java.util.zip.DataFormatException: invalid literal/length code
        at java.util.zip.Inflater.inflateBytes(Native Method)
        at java.util.zip.Inflater.inflate(Inflater.java:238)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:125)
        ... 7 more
07-26/09:26:13 ERROR [Thread-16] NetflowDataLogReader - null NetflowDataLogReader [file: /srv/BGBilling/BGIPNNetflowCollector/logs/source_1/2010/2010-06/2010-06-25/log_2010-06-25-16.000.bgdl; chunkSize=393216]
java.io.IOException
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:136)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.read(ZLIBReadableChannel.java:64)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel$ZLIBReadableChannelSync.read(ZLIBReadableChannel.java:25)
        at ru.bitel.bgbilling.server.util.datalog.DataLogReader.readBuffer(DataLogReader.java:40)
        at ru.bitel.bgbilling.server.util.datalog.BGDataLogReader.readBuffer(BGDataLogReader.java:59)
        at ru.bitel.bgbilling.server.util.ip.datalog.netflow.NetflowDataLogReader.readChunk(NetflowDataLogReader.java:44)
        at bitel.billing.server.netflow.ipn.detail.MonthFlowDetailMaker.createDetail(MonthFlowDetailMaker.java:118)
        at bitel.billing.server.netflow.ipn.detail.DetailMaker.run(DetailMaker.java:91)
Caused by: java.util.zip.DataFormatException: invalid distance code
        at java.util.zip.Inflater.inflateBytes(Native Method)
        at java.util.zip.Inflater.inflate(Inflater.java:238)
        at ru.bitel.bgbilling.server.util.io.channels.ZLIBReadableChannel.inflate(ZLIBReadableChannel.java:125)
        ... 7 more
07-26/09:34:55  INFO [Thread-16] MonthFlowDetailMaker - file writing by 1400638
07-26/09:34:55  INFO [Thread-16] MonthFlowDetailMaker - Start create zip file => /srv/BGBilling/BGIPNNetflowCollector/detail/roma.zip
Автор:  Amir [ 26 июл 2010, 12:34 ]
Заголовок сообщения:  Re: Детализация трафика IPN
Да, выкладывали обновление с корректной обработкой этой ошибки. Не успели сюда отписать.
Но вывод ошибки в лог так и оставили. Т.е. он доходит до того места, где не может разархивировать zip, выводит ошибку и переходит к другому файлу.
Почему файл поврежденный - другой вопрос... За месяц - таких похоже два.
Автор:  logicall [ 26 июл 2010, 15:55 ]
Заголовок сообщения:  Re: Детализация трафика IPN
Amir писал(а):
Да, выкладывали обновление с корректной обработкой этой ошибки. Не успели сюда отписать.
Но вывод ошибки в лог так и оставили. Т.е. он доходит до того места, где не может разархивировать zip, выводит ошибку и переходит к другому файлу.
Почему файл поврежденный - другой вопрос... За месяц - таких похоже два.


А поправить его нельзя никак? А если отключить архивирование, будут также битые файлы?
Автор:  Amir [ 27 июл 2010, 17:32 ]
Заголовок сообщения:  Re: Детализация трафика IPN
Вряд ли... А обсчет раз во сколько минут стоит?
Цитата:
А если отключить архивирование, будут также битые файлы?

Возможно так же будут. Смотря какая причина - ошибка при сжатии или какая-либо внешняя, например не корректная остановка коллектора.
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/