Летом было хорошо настроено архивирование по соотношению объем/загрузка, изменив compression.level с 5 до 3, так как объем почти не менялся, а нагрузка на проц упала в 2-3 раза.
Остановился на варианте:
Код:
<!-- Сжимать flow логи: 0 - не сжимать, 1 - zlib, 3 - xz -->
<param name="datalog.flow.compression.type" value="3" />
<!-- Уровень сжатия flow логов: по умолчанию 1 - best speed; 7,8,9 - не рекомендуется вовсе -->
<param name="datalog.flow.compression.level" value="3" />
На 1 ТБ диск стало влазить не 30 дней, а 65.
Но вот пришел запрос от расшифровку трафика - пытаюсь сделать и результат 0.
Не могу извлечь flow с архивов.
Вываливается с ошибкой:
Код:
12-12/14:18:47 DEBUG [main] IPHourlyDataLog - Opening /usr/local/BGInetAccounting/data/flow/source_2/2014/2014-12/2014-12-02/log_2014-12-02-12.002.bgdl
12-12/14:18:47 DEBUG [main] BGDataLog - DataLog file [data/flow/source_2/2014/2014-12/2014-12-02/log_2014-12-02-12.002.bgdl] was opened
12-12/14:18:47 DEBUG [main] BGDataLog - Header length=53
12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=3, length=1, rem=45]
12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=4, length=5, rem=36]
12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=5, length=3, rem=23]
12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=6, length=1, rem=12]
12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=100, length=3, rem=3]
12-12/14:18:47 DEBUG [main] BGDataLog - Chunk size=524288
12-12/14:18:47 DEBUG [main] BGDataLog - Read buffer size=524304
12-12/14:18:47 DEBUG [main] BGDataLog - Compressed=true
12-12/14:18:47 ERROR [main] HourlyDataLog - Error when opening dataLog /usr/local/BGInetAccounting50/data/flow/source_2/2014/2014-12/2014-12-02/log_2014-12-02-12.002.bgdl
org.tukaani.xz.XZFormatException: Input is not in the XZ format
at org.tukaani.xz.common.DecoderUtil.decodeStreamHeader(Unknown Source)
at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source)
at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source)
at org.tukaani.xz.SingleXZInputStream.<init>(Unknown Source)
at org.tukaani.xz.XZInputStream.<init>(Unknown Source)
at org.tukaani.xz.XZInputStream.<init>(Unknown Source)
at ru.bitel.bgbilling.kernel.base.server.datalog.channels.XZInputStream.<init>(XZInputStream.java:14)
at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.checkStream(IPDataLog.java:291)
at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.asReaderImpl(IPDataLog.java:244)
at ru.bitel.bgbilling.kernel.base.server.datalog.DataLog.asReader(DataLog.java:214)
at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLog.nextReader(HourlyDataLog.java:146)
at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.fetch(IPDataLogUtils.java:256)
at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.<init>(IPDataLogUtils.java:384)
at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$3.iterator(IPDataLogUtils.java:439)
at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:331)
at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:261)
at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:226)
at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:199)
at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.main(FlowExport.java:46)
При этом файл начинается с .7zXZ
00000000 00 07 FF 00 │ 00 00 00 0A │ 00 00 00 00 │ 00 08 00 00 │ 00 00 01 4A │ 08 70 89 E8 │ 00 05 00 1E │ 65 F8 3C A0
И после переименования расширения с data на xz утилитой unxz распаковывается без ошибок.
Код:
[root@bg BGInetAccounting]# ls -l log_2014-12-02-02.001*
-rw-r--r-- 1 root root 6080536 Dec 2 02:51 log_2014-12-02-02.001.data
[root@bg BGInetAccounting]# unxz log_2014-12-02-02.001.data
unxz: log_2014-12-02-02.001.data: Filename has an unknown suffix, skipping
[root@bg BGInetAccounting]# mv log_2014-12-02-02.001.data log_2014-12-02-02.001.xz
[root@bg BGInetAccounting]# unxz log_2014-12-02-02.001.xz
[root@bg BGInetAccounting]# ls -l log_2014-12-02-02.001*
-rw-r--r-- 1 root root 31458240 Dec 2 02:51 log_2014-12-02-02.001
В чем может быть проблема?
Обновлялся потом два раза, извлечение детализации не проверял...
На сейчас:
Код:
Информация о версии:
Клиент: вер. 6.0 сборка 1346 от 19.09.2014 16:34:31
os: Windows XP; java: Java HotSpot(TM) Client VM, v.1.6.0_43
Сервер: вер. 6.0 сборка 1793 от 17.09.2014 01:45:13
os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45
bill вер. 6.0 сборка 344 от 09.09.2014 14:07:48
card вер. 6.0 сборка 228 от 05.09.2014 13:41:15
inet вер. 6.0 сборка 1448 от 19.09.2014 16:34:41
Такую же проблему без ее решения нашел здесь:
http://forum.bitel.ru/viewtopic.php?f=44&t=9734&p=80966&hilit=flow#p81456
Вход
Регистрация
FAQ
Поиск
((((