BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 20 июн 2025, 00:20

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 9 ] 
Автор Сообщение
СообщениеДобавлено: 19 сен 2014, 10:40 
Не в сети

Зарегистрирован: 28 авг 2014, 09:26
Сообщения: 162
Карма: 0
Речь идет о возможности сжимать flow-данные: datalog.flow.compression.type

Возможно ли экспортировать сжатых flow-данные аккаунт-сервера? Может есть какой-нибудь дополнительный ключ к команде accounting.sh flowExport? Или другие решения?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 сен 2014, 10:48 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
не понятно. У вас flowExport не работает на сжатых данных?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 сен 2014, 11:00 
Не в сети

Зарегистрирован: 28 авг 2014, 09:26
Сообщения: 162
Карма: 0
Не работает. Генерит файл без данных


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 сен 2014, 19:01 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Может быть какие-то ошибки есть? А что у вас в datalog.flow.compression.type?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 22 сен 2014, 11:10 
Не в сети

Зарегистрирован: 28 авг 2014, 09:26
Сообщения: 162
Карма: 0
Ошибки и правда есть (grep'ом почему-то не цеплялись раньше). Подготовку для компрессии XZ, сделал по вашей инструкции: скопировал xz.jar в Access и Accounting сервера, прописал в конфиг строки, перезапустил.

Код:
    <!-- 0 - no compression, 1 - zlib, 3 - xz -->
    <param name="datalog.flow.compression.type" value="3" />
    <!-- 1 - best speed; 7,8,9 - not recomendated -->
    <param name="datalog.flow.compression.level" value="5" />


Код:
 
09-22/11:06:30 ERROR [Thread-19] BGDataLogReader - null NetflowDataLogReader [file: /usr/local/BGB/meat/pppoe/accounting/data/flow/source_2/2014/2014-09/2014-09-22/log_2014-09-22-10.001.bgdl; chunkSize=524288]
java.io.EOFException
        at java.io.DataInputStream.readUnsignedByte(DataInputStream.java:290)
        at org.tukaani.xz.LZMA2InputStream.decodeChunkHeader(Unknown Source)
        at org.tukaani.xz.LZMA2InputStream.read(Unknown Source)
        at org.tukaani.xz.BlockInputStream.read(Unknown Source)
        at org.tukaani.xz.SingleXZInputStream.read(Unknown Source)
        at org.tukaani.xz.XZInputStream.read(Unknown Source)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.XZInputStream.read(XZInputStream.java:66)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.StreamReadableChannel.read(StreamReadableChannel.java:36)
        at ru.bitel.bgbilling.kernel.base.server.datalog.DataLogReader.readBuffer(DataLogReader.java:48)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLogReader.readBuffer(BGDataLogReader.java:68)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLogReader.readNext(BGDataLogReader.java:102)
        at ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader.readChunk(NetflowDataLogReader.java:38)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.read(IPDataLogUtils.java:326)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.fetch(IPDataLogUtils.java:246)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.next(IPDataLogUtils.java:417)
        at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.next(IPDataLogUtils.java:1)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:331)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:261)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:226)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:199)
        at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:74)
        at ru.bitel.bgbilling.modules.inet.accounting.Accounting.executeCommand(Accounting.java:2142)
        at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.doCommand(CommandPortListener.java:117)
        at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.run(CommandPortListener.java:173)
accounting 09-22/11:06:31  INFO [accwrkr-1-p-14-t-1] SessionTarifficationManager - InetOptionSet: []
accounting 09-22/11:06:31  INFO [accwrkr-1-p-14-t-1] SessionTarifficationWorker - Tarifficated 1 sessions for 1 ms.
 
09-22/11:06:31 ERROR [Thread-19] ZLIBReadableChannel - Unexpected end of file (channel) sun.nio.ch.FileChannelImpl@dbb0f7
 
09-22/11:06:31 ERROR [Thread-19] BGDataLogReader - Size of chunk less than expected: 469362 (524032)
 
09-22/11:06:31 ERROR [Thread-19] NetFlowArray - Corrupted packet at offset: 468120 [flowLength=48, flowCount=30, limit=469377]


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 22 сен 2014, 15:06 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Версия/билд?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 22 сен 2014, 15:11 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
За текущий час пробуете? Может быть еще не успевает сбросить на диск данные из буфера?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 03 окт 2014, 13:16 
Не в сети

Зарегистрирован: 28 авг 2014, 09:26
Сообщения: 162
Карма: 0
Код:
Сервер: вер. 6.0 сборка 1793 от 17.09.2014 01:45:13
  inet вер. 6.0 сборка 1447 от 18.09.2014 21:08:15


Специально подождал несколько дней. пробую
Код:
./accounting.sh flowExport -s 2 -h 2014-10-01-10 -f flows.csv -tFmt "dd.MM.yyyy HH:mm:ss"

Так же выдает:
Код:
 10-03/13:14:11 ERROR [Thread-18] HourlyDataLog - Error when opening dataLog /usr/local/BGB/meat/pppoe/accounting/data/flow/source_2/2014/2014-10/2014-10-01/log_2014-10-01-11.002.bgdl
org.tukaani.xz.XZFormatException: Input is not in the XZ format
   at org.tukaani.xz.common.DecoderUtil.decodeStreamHeader(Unknown Source)
   at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source)
   at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source)
   at org.tukaani.xz.SingleXZInputStream.<init>(Unknown Source)
   at org.tukaani.xz.XZInputStream.<init>(Unknown Source)
   at org.tukaani.xz.XZInputStream.<init>(Unknown Source)
   at ru.bitel.bgbilling.kernel.base.server.datalog.channels.XZInputStream.<init>(XZInputStream.java:14)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.checkStream(IPDataLog.java:291)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.asReaderImpl(IPDataLog.java:244)
   at ru.bitel.bgbilling.kernel.base.server.datalog.DataLog.asReader(DataLog.java:214)
   at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLog.nextReader(HourlyDataLog.java:146)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.fetch(IPDataLogUtils.java:256)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.<init>(IPDataLogUtils.java:384)
   at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$3.iterator(IPDataLogUtils.java:439)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:331)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:261)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:226)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:199)
   at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:74)
   at ru.bitel.bgbilling.modules.inet.accounting.Accounting.executeCommand(Accounting.java:2142)
   at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.doCommand(CommandPortListener.java:117)
   at ru.bitel.bgbilling.kernel.application.server.CommandPortListener$AdminPortThread.run(CommandPortListener.java:173)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 дек 2014, 15:45 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Извините, потерял вашу тему.
В последнем билде должно быть нормально.
viewtopic.php?f=44&t=8700&p=84029#p84014


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.042s | 34 Queries | GZIP : On ]