forum.bitel.ru
http://forum.bitel.ru/

Экспорт сжатых данных аккаунт-сервера
http://forum.bitel.ru/viewtopic.php?f=44&t=9734		 Страница 1 из 1
Автор:  oldb0y [ 19 сен 2014, 10:40 ]
Заголовок сообщения:  Экспорт сжатых данных аккаунт-сервера
Речь идет о возможности сжимать flow-данные: datalog.flow.compression.type

Возможно ли экспортировать сжатых flow-данные аккаунт-сервера? Может есть какой-нибудь дополнительный ключ к команде accounting.sh flowExport? Или другие решения?
Автор:  stark [ 19 сен 2014, 10:48 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
не понятно. У вас flowExport не работает на сжатых данных?
Автор:  oldb0y [ 19 сен 2014, 11:00 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
Не работает. Генерит файл без данных
Автор:  Amir [ 19 сен 2014, 19:01 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
Может быть какие-то ошибки есть? А что у вас в datalog.flow.compression.type?
Автор:  oldb0y [ 22 сен 2014, 11:10 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
Ошибки и правда есть (grep'ом почему-то не цеплялись раньше). Подготовку для компрессии XZ, сделал по вашей инструкции: скопировал xz.jar в Access и Accounting сервера, прописал в конфиг строки, перезапустил.

Код:
    <!-- 0 - no compression, 1 - zlib, 3 - xz -->
    <param name="datalog.flow.compression.type" value="3" />
    <!-- 1 - best speed; 7,8,9 - not recomendated -->
    <param name="datalog.flow.compression.level" value="5" />


Код:
 
09-22/11:06:30 ERROR [Thread-19] BGDataLogReader - null NetflowDataLogReader [file: /usr/local/BGB/meat/pppoe/accounting/data/flow/source_2/2014/2014-09/2014-09-22/log_2014-09-22-10.001.bgdl; chunkSize=524288]
java.io.EOFException
        at java.io.DataInputStream.readUnsignedByte(DataInputStream.java:290)
        at org.tukaani.xz.LZMA2InputStream.decodeChunkHeader(Unknown Source)
        at org.tukaani.xz.LZMA2InputStream.read(Unknown Source)
        at org.tukaani.xz.BlockInputStream.read(Unknown Source)
        at org.tukaani.xz.SingleXZInputStream.read(Unknown Source)
        at org.tukaani.xz.XZInputStream.read(Unknown Source)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.XZInputStream.read(XZInputStream.java:66)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.StreamReadableChannel.read(StreamReadableChannel.java:36)
        at ru.bitel.bgbilling.kernel.base.server.datalog.DataLogReader.readBuffer(DataLogReader.java:48)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLogReader.readBuffer(BGDataLogReader.java:68)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLogReader.readNext(BGDataLogReader.java:102)
        at ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader.readChunk(NetflowDataLogReader.java:38)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.read(IPDataLogUtils.java:326)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.fetch(IPDataLogUtils.java:246)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.next(IPDataLogUtils.java:417)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.next(IPDataLogUtils.java:1)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:331)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:261)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:226)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:199)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:74)
        at ru.bitel.bgbilling.modules.inet.accounting.Accounting.executeCommand(Accounting.java:2142)
        at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.doCommand(CommandPortListener.java:117)
        at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.run(CommandPortListener.java:173)
accounting 09-22/11:06:31  INFO [accwrkr-1-p-14-t-1] SessionTarifficationManager - InetOptionSet: []
accounting 09-22/11:06:31  INFO [accwrkr-1-p-14-t-1] SessionTarifficationWorker - Tarifficated 1 sessions for 1 ms.
 
09-22/11:06:31 ERROR [Thread-19] ZLIBReadableChannel - Unexpected end of file (channel) sun.nio.ch.FileChannelImpl@dbb0f7
 
09-22/11:06:31 ERROR [Thread-19] BGDataLogReader - Size of chunk less than expected: 469362 (524032)
 
09-22/11:06:31 ERROR [Thread-19] NetFlowArray - Corrupted packet at offset: 468120 [flowLength=48, flowCount=30, limit=469377]
Автор:  Amir [ 22 сен 2014, 15:06 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
Версия/билд?
Автор:  Amir [ 22 сен 2014, 15:11 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
За текущий час пробуете? Может быть еще не успевает сбросить на диск данные из буфера?
Автор:  oldb0y [ 03 окт 2014, 13:16 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
Код:
Сервер: вер. 6.0 сборка 1793 от 17.09.2014 01:45:13
  inet вер. 6.0 сборка 1447 от 18.09.2014 21:08:15


Специально подождал несколько дней. пробую
Код:
./accounting.sh flowExport -s 2 -h 2014-10-01-10 -f flows.csv -tFmt "dd.MM.yyyy HH:mm:ss"

Так же выдает:
Код:
 10-03/13:14:11 ERROR [Thread-18] HourlyDataLog - Error when opening dataLog /usr/local/BGB/meat/pppoe/accounting/data/flow/source_2/2014/2014-10/2014-10-01/log_2014-10-01-11.002.bgdl
org.tukaani.xz.XZFormatException: Input is not in the XZ format
   at org.tukaani.xz.common.DecoderUtil.decodeStreamHeader(Unknown Source)
   at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source)
   at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source)
   at org.tukaani.xz.SingleXZInputStream.<init>(Unknown Source)
   at org.tukaani.xz.XZInputStream.<init>(Unknown Source)
   at org.tukaani.xz.XZInputStream.<init>(Unknown Source)
   at ru.bitel.bgbilling.kernel.base.server.datalog.channels.XZInputStream.<init>(XZInputStream.java:14)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.checkStream(IPDataLog.java:291)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.asReaderImpl(IPDataLog.java:244)
   at ru.bitel.bgbilling.kernel.base.server.datalog.DataLog.asReader(DataLog.java:214)
   at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLog.nextReader(HourlyDataLog.java:146)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.fetch(IPDataLogUtils.java:256)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.<init>(IPDataLogUtils.java:384)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$3.iterator(IPDataLogUtils.java:439)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:331)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:261)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:226)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:199)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:74)
   at ru.bitel.bgbilling.modules.inet.accounting.Accounting.executeCommand(Accounting.java:2142)
   at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.doCommand(CommandPortListener.java:117)
   at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.run(CommandPortListener.java:173)
Автор:  Amir [ 15 дек 2014, 15:45 ]
Заголовок сообщения:  Re: Экспорт сжатых данных аккаунт-сервера
Извините, потерял вашу тему.
В последнем билде должно быть нормально.
viewtopic.php?f=44&t=8700&p=84029#p84014
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/