forum.bitel.ru http://forum.bitel.ru/ |
|
размер flow http://forum.bitel.ru/viewtopic.php?f=44&t=8700 |
Страница 1 из 2 |
Автор: | skyb [ 20 ноя 2013, 18:00 ] |
Заголовок сообщения: | размер flow |
Вот понять не могу, чегота места жрет очень много Код: # du -h 227M ./radius/source_5/2013/2013-11/2013-11-20 225M ./radius/source_5/2013/2013-11/2013-11-19 451M ./radius/source_5/2013/2013-11 451M ./radius/source_5/2013 451M ./radius/source_5 1,1M ./radius/source_1094/2013/2013-11/2013-11-20 928K ./radius/source_1094/2013/2013-11/2013-11-19 2,0M ./radius/source_1094/2013/2013-11 2,0M ./radius/source_1094/2013 2,0M ./radius/source_1094 453M ./radius 64G ./flow/source_5/2013/2013-11/2013-11-20 70G ./flow/source_5/2013/2013-11/2013-11-19 133G ./flow/source_5/2013/2013-11 133G ./flow/source_5/2013 133G ./flow/source_5 133G ./flow 134G . за 2 дня 134 гига, как то....сжатие стоит, но не помогает паходу |
Автор: | Cromeshnic [ 20 ноя 2013, 18:27 ] |
Заголовок сообщения: | Re: размер flow |
С объемом трафика бъется? Мб просто трафика больше стало? |
Автор: | skyb [ 20 ноя 2013, 18:47 ] |
Заголовок сообщения: | Re: размер flow |
Cromeshnic писал(а): С объемом трафика бъется? Мб просто трафика больше стало? ну абонентов дофига, тарфика дофига, это понятно, просто такие объемы от флоу, мб есть возможность сократить объемы? |
Автор: | nik247 [ 20 ноя 2013, 19:47 ] |
Заголовок сообщения: | Re: размер flow |
to skyb Очень похоже, что таки отключено сжатие... или очень МНОГО трафика. У Вас произошел скачек объемов? Что было раньше? При таких объемах канал должен быть около 10Gb... У меня в день около 20GB со всех flow Inet-ов. |
Автор: | skyb [ 21 ноя 2013, 05:44 ] |
Заголовок сообщения: | Re: размер flow |
nik247 писал(а): to skyb Очень похоже, что таки отключено сжатие... или очень МНОГО трафика. У Вас произошел скачек объемов? Что было раньше? При таких объемах канал должен быть около 10Gb... У меня в день около 20GB со всех flow Inet-ов. канал немногим меньше 10-ки - но всеравно широкий, Код: <param name="datalog.radius.dir" value="/mnt/data/radius" /> <param name="datalog.flow.dir" value="/mnt/data/flow" /> <param name="datalog.flow.compression.type" value="1" /> <param name="datalog.radius.compression.type" value="1" /> да вроде есть сжатие. А раньше был диалап, там место занимало меньше |
Автор: | Amir [ 21 ноя 2013, 16:54 ] |
Заголовок сообщения: | Re: размер flow |
Если сжатие включено, то файлы data должны начинаться на 00 00 01 40. Dialup вроде бы отличается только тем, что не записывал RADIUS логи. Но при этом записывал в текстовом виде в БД авторизацию и старт/стоп пакеты. |
Автор: | Amir [ 21 ноя 2013, 17:02 ] |
Заголовок сообщения: | Re: размер flow |
Можно попробовать добавить <param name="datalog.flow.compression.level" value="5" /> |
Автор: | skyb [ 21 ноя 2013, 17:03 ] |
Заголовок сообщения: | Re: размер flow |
Amir писал(а): Если сжатие включено, то файлы data должны начинаться на 00 00 01 40. Dialup вроде бы отличается только тем, что не записывал RADIUS логи. Но при этом записывал в текстовом виде в БД авторизацию и старт/стоп пакеты. то что компрес врублен я показал выше, или что то неотработало? и про какие файлы речь? я не совсем понял |
Автор: | Amir [ 21 ноя 2013, 17:07 ] |
Заголовок сообщения: | Re: размер flow |
Да, вдруг из-за ошибки какой не отработало. В flow-логах должны быть по два файла *.bgdl (заголовок) и *.data (данные). |
Автор: | skyb [ 21 ноя 2013, 17:29 ] |
Заголовок сообщения: | Re: размер flow |
Код: log_2013-11-19-04.000.bgdl log_2013-11-19-07.000.data log_2013-11-19-10.000.bgdl log_2013-11-19-12.002.data log_2013-11-19-15.002.bgdl log_2013-11-19-18.001.data log_2013-11-19-21.001.bgdl
log_2013-11-19-04.000.data log_2013-11-19-07.001.bgdl log_2013-11-19-10.000.data log_2013-11-19-13.000.bgdl log_2013-11-19-15.002.data log_2013-11-19-18.002.bgdl log_2013-11-19-21.001.data log_2013-11-19-04.001.bgdl log_2013-11-19-07.001.data log_2013-11-19-10.001.bgdl log_2013-11-19-13.000.data log_2013-11-19-16.000.bgdl log_2013-11-19-18.002.data log_2013-11-19-21.002.bgdl log_2013-11-19-04.001.data log_2013-11-19-07.002.bgdl log_2013-11-19-10.001.data log_2013-11-19-13.001.bgdl log_2013-11-19-16.000.data log_2013-11-19-19.000.bgdl log_2013-11-19-21.002.data log_2013-11-19-05.000.bgdl log_2013-11-19-07.002.data log_2013-11-19-10.002.bgdl log_2013-11-19-13.001.data log_2013-11-19-16.001.bgdl log_2013-11-19-19.000.data log_2013-11-19-22.000.bgdl log_2013-11-19-05.000.data log_2013-11-19-08.000.bgdl log_2013-11-19-10.002.data log_2013-11-19-13.002.bgdl log_2013-11-19-16.001.data log_2013-11-19-19.001.bgdl log_2013-11-19-22.000.data log_2013-11-19-05.001.bgdl log_2013-11-19-08.000.data log_2013-11-19-11.000.bgdl log_2013-11-19-13.002.data log_2013-11-19-16.002.bgdl log_2013-11-19-19.001.data log_2013-11-19-22.001.bgdl log_2013-11-19-05.001.data log_2013-11-19-08.001.bgdl log_2013-11-19-11.000.data log_2013-11-19-14.000.bgdl log_2013-11-19-16.002.data log_2013-11-19-19.002.bgdl log_2013-11-19-22.001.data log_2013-11-19-05.002.bgdl log_2013-11-19-08.001.data log_2013-11-19-11.001.bgdl log_2013-11-19-14.000.data log_2013-11-19-17.000.bgdl log_2013-11-19-19.002.data log_2013-11-19-22.002.bgdl log_2013-11-19-05.002.data log_2013-11-19-08.002.bgdl log_2013-11-19-11.001.data log_2013-11-19-14.001.bgdl log_2013-11-19-17.000.data log_2013-11-19-20.000.bgdl log_2013-11-19-22.002.data log_2013-11-19-06.000.bgdl log_2013-11-19-08.002.data log_2013-11-19-11.002.bgdl log_2013-11-19-14.001.data log_2013-11-19-17.001.bgdl log_2013-11-19-20.000.data log_2013-11-19-23.000.bgdl log_2013-11-19-06.000.data log_2013-11-19-09.000.bgdl log_2013-11-19-11.002.data log_2013-11-19-14.002.bgdl log_2013-11-19-17.001.data log_2013-11-19-20.001.bgdl log_2013-11-19-23.000.data log_2013-11-19-06.001.bgdl log_2013-11-19-09.000.data log_2013-11-19-12.000.bgdl log_2013-11-19-14.002.data log_2013-11-19-17.002.bgdl log_2013-11-19-20.001.data log_2013-11-19-23.001.bgdl log_2013-11-19-06.001.data log_2013-11-19-09.001.bgdl log_2013-11-19-12.000.data log_2013-11-19-15.000.bgdl log_2013-11-19-17.002.data log_2013-11-19-20.002.bgdl log_2013-11-19-23.001.data log_2013-11-19-06.002.bgdl log_2013-11-19-09.001.data log_2013-11-19-12.001.bgdl log_2013-11-19-15.000.data log_2013-11-19-18.000.bgdl log_2013-11-19-20.002.data log_2013-11-19-23.002.bgdl log_2013-11-19-06.002.data log_2013-11-19-09.002.bgdl log_2013-11-19-12.001.data log_2013-11-19-15.001.bgdl log_2013-11-19-18.000.data log_2013-11-19-21.000.bgdl log_2013-11-19-23.002.data log_2013-11-19-07.000.bgdl log_2013-11-19-09.002.data log_2013-11-19-12.002.bgdl log_2013-11-19-15.001.data log_2013-11-19-18.001.bgdl log_2013-11-19-21.000.data |
Автор: | Amir [ 21 ноя 2013, 17:32 ] |
Заголовок сообщения: | Re: размер flow |
Начинаться - имел ввиду, если открыть .data HEX-редактором. |
Автор: | Amir [ 21 ноя 2013, 18:25 ] |
Заголовок сообщения: | Re: размер flow |
Нет, я обманул, похоже - сжатие есть. Цитата: You can identify zlib by the following: По умолчанию у нас <param name="datalog.flow.compression.level" value="1" />, т.е. low.
78 01 - No Compression/low 78 9C - Default Compression 78 DA - Best Compression |
Автор: | skyb [ 21 ноя 2013, 18:42 ] |
Заголовок сообщения: | Re: размер flow |
поставил, максимум скока ставить мона? сейчас Код: # du -h 263M ./radius/source_5/2013/2013-11/2013-11-21 255M ./radius/source_5/2013/2013-11/2013-11-20 225M ./radius/source_5/2013/2013-11/2013-11-19 742M ./radius/source_5/2013/2013-11 742M ./radius/source_5/2013 742M ./radius/source_5 564K ./radius/source_1094/2013/2013-11/2013-11-21 1,2M ./radius/source_1094/2013/2013-11/2013-11-20 928K ./radius/source_1094/2013/2013-11/2013-11-19 2,7M ./radius/source_1094/2013/2013-11 2,7M ./radius/source_1094/2013 2,7M ./radius/source_1094 745M ./radius 72G ./flow/source_5/2013/2013-11/2013-11-21 75G ./flow/source_5/2013/2013-11/2013-11-20 70G ./flow/source_5/2013/2013-11/2013-11-19 216G ./flow/source_5/2013/2013-11 216G ./flow/source_5/2013 216G ./flow/source_5 216G ./flow 217G . чтоб не забыть, завтра посмотрим |
Автор: | Amir [ 21 ноя 2013, 19:22 ] |
Заголовок сообщения: | Re: размер flow |
Думаю, 6, не больше. Дальше уже съедается CPU, а разница мала. |
Автор: | nik247 [ 21 ноя 2013, 21:42 ] |
Заголовок сообщения: | Re: размер flow |
У меня в inet-accounting.xml давно прописано: Код: <!-- Сжимать flow логи: 0 - не сжимать, 1 - zlib --> <param name="datalog.flow.compression.type" value="1" /> <!-- Уровень сжатия flow логов: по умолчанию 1 - best speed; 7,8,9 - не рекомендуется вовсе --> <param name="datalog.flow.compression.level" value="5" /> Файлы ".data" начинаются с "78 9C". В день flow пишется 20-24GB. |
Автор: | skyb [ 22 ноя 2013, 04:53 ] |
Заголовок сообщения: | Re: размер flow |
Код: # du -h 281M ./radius/source_5/2013/2013-11/2013-11-21 255M ./radius/source_5/2013/2013-11/2013-11-20 225M ./radius/source_5/2013/2013-11/2013-11-19 88M ./radius/source_5/2013/2013-11/2013-11-22 847M ./radius/source_5/2013/2013-11 847M ./radius/source_5/2013 847M ./radius/source_5 564K ./radius/source_1094/2013/2013-11/2013-11-21 1,2M ./radius/source_1094/2013/2013-11/2013-11-20 928K ./radius/source_1094/2013/2013-11/2013-11-19 2,7M ./radius/source_1094/2013/2013-11 2,7M ./radius/source_1094/2013 2,7M ./radius/source_1094 850M ./radius 78G ./flow/source_5/2013/2013-11/2013-11-21 75G ./flow/source_5/2013/2013-11/2013-11-20 70G ./flow/source_5/2013/2013-11/2013-11-19 14G ./flow/source_5/2013/2013-11/2013-11-22 236G ./flow/source_5/2013/2013-11 236G ./flow/source_5/2013 236G ./flow/source_5 236G ./flow 237G . начинает радовать, спасибо. А в доке я проглядел этот момент, да? ) |
Автор: | Amir [ 22 ноя 2013, 16:34 ] |
Заголовок сообщения: | Re: размер flow |
В тестах такой разницы не было, поэтому я его не сильно принимал во внимание. Увеличим значение по умолчанию, наверное. |
Автор: | nik247 [ 22 ноя 2013, 16:58 ] |
Заголовок сообщения: | Re: размер flow |
Amir писал(а): В тестах такой разницы не было, поэтому я его не сильно принимал во внимание. Увеличим значение по умолчанию, наверное. Так еще рано говорить - 22 число не закончилось. У меня при переходе со сжатия 1 на 5 большой разницы не было заметно. |
Автор: | Amir [ 22 ноя 2013, 17:48 ] |
Заголовок сообщения: | Re: размер flow |
В Благовещенске на время поста вроде бы 9 вечера должно было быть. |
Автор: | nik247 [ 22 ноя 2013, 18:46 ] |
Заголовок сообщения: | Re: размер flow |
Amir писал(а): В Благовещенске на время поста вроде бы 9 вечера должно было быть. А я смотрю время поста и вижу около 10 утра там. Соответственно трафик еще особо и не начал валить. |
Автор: | skyb [ 23 ноя 2013, 17:25 ] |
Заголовок сообщения: | Re: размер flow |
66G ./flow/source_5/2013/2013-11/2013-11-23 70G ./flow/source_5/2013/2013-11/2013-11-22 136G ./flow/source_5/2013/2013-11 136G ./flow/source_5/2013 136G ./flow/source_5 136G ./flow 137G |
Автор: | nik247 [ 23 ноя 2013, 17:58 ] |
Заголовок сообщения: | Re: размер flow |
Это то о чем я и писал - особой разницы нету: Код: 66G ./flow/source_5/2013/2013-11/2013-11-23 70G ./flow/source_5/2013/2013-11/2013-11-22 Код: 78G ./flow/source_5/2013/2013-11/2013-11-21
75G ./flow/source_5/2013/2013-11/2013-11-20 70G ./flow/source_5/2013/2013-11/2013-11-19 |
Автор: | skyb [ 24 ноя 2013, 07:34 ] |
Заголовок сообщения: | Re: размер flow |
мдэ ![]() |
Автор: | nik247 [ 07 июн 2014, 03:10 ] |
Заголовок сообщения: | Re: размер flow |
Отчитываюсь о практике примененя использования XZ для сжатия flow/radius данных. Настройки сжатия: Код: <!-- Сжимать radius логи: 0 - не сжимать, 1 - zlib, 3 - xz --> Эконимия занятого места на диске составла около 40%, но за это заплатили загрузкой CPU на столько же.<param name="datalog.radius.compression.type" value="3" /> <!-- Уровень сжатия radius логов: по умолчанию 1 - best speed; 7,8,9 - не рекомендуется вовсе --> <param name="datalog.radius.compression.level" value="3" /> <!-- Сжимать flow логи: 0 - не сжимать, 1 - zlib, 3 - xz --> <param name="datalog.flow.compression.type" value="3" /> <!-- Уровень сжатия flow логов: по умолчанию 1 - best speed; 7,8,9 - не рекомендуется вовсе --> <param name="datalog.flow.compression.level" value="5" /> Перевод был 3 июня в обед - видно четко по графикам ниже. Данные flow с нескольких модулей Inet: Код: [root@bg 2014-06]# du -h 4,0G ./2014-06-01 4,3G ./2014-06-02 3,0G ./2014-06-03 2,0G ./2014-06-04 1,9G ./2014-06-05 2,0G ./2014-06-06 17G Код: [root@bg 2014-06]# du -h 5,7G ./2014-06-01 6,5G ./2014-06-02 4,9G ./2014-06-03 3,7G ./2014-06-04 3,5G ./2014-06-05 3,2G ./2014-06-06 28G Код: [root@bg 2014-06]# du -h загрузка процесора:4,1G ./2014-06-01 4,8G ./2014-06-02 4,0G ./2014-06-03 2,5G ./2014-06-04 2,7G ./2014-06-05 1,9G ./2014-06-06 20G Вложение: загрузка системы: Вложение: flow/radius трафик: Вложение: Попробую попозже перейти на flow сжатие "3" - посмотрю на разницу сжатия и CPU load. |
Автор: | nik247 [ 12 дек 2014, 18:35 ] |
Заголовок сообщения: | Re: размер flow |
Летом было хорошо настроено архивирование по соотношению объем/загрузка, изменив compression.level с 5 до 3, так как объем почти не менялся, а нагрузка на проц упала в 2-3 раза. Остановился на варианте: Код: <!-- Сжимать flow логи: 0 - не сжимать, 1 - zlib, 3 - xz --> На 1 ТБ диск стало влазить не 30 дней, а 65.<param name="datalog.flow.compression.type" value="3" /> <!-- Уровень сжатия flow логов: по умолчанию 1 - best speed; 7,8,9 - не рекомендуется вовсе --> <param name="datalog.flow.compression.level" value="3" /> Но вот пришел запрос от расшифровку трафика - пытаюсь сделать и результат 0. Не могу извлечь flow с архивов. Вываливается с ошибкой: Код: 12-12/14:18:47 DEBUG [main] IPHourlyDataLog - Opening /usr/local/BGInetAccounting/data/flow/source_2/2014/2014-12/2014-12-02/log_2014-12-02-12.002.bgdl 12-12/14:18:47 DEBUG [main] BGDataLog - DataLog file [data/flow/source_2/2014/2014-12/2014-12-02/log_2014-12-02-12.002.bgdl] was opened 12-12/14:18:47 DEBUG [main] BGDataLog - Header length=53 12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=3, length=1, rem=45] 12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=4, length=5, rem=36] 12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=5, length=3, rem=23] 12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=6, length=1, rem=12] 12-12/14:18:47 DEBUG [main] BGDataLog - Read TLV [type=100, length=3, rem=3] 12-12/14:18:47 DEBUG [main] BGDataLog - Chunk size=524288 12-12/14:18:47 DEBUG [main] BGDataLog - Read buffer size=524304 12-12/14:18:47 DEBUG [main] BGDataLog - Compressed=true 12-12/14:18:47 ERROR [main] HourlyDataLog - Error when opening dataLog /usr/local/BGInetAccounting50/data/flow/source_2/2014/2014-12/2014-12-02/log_2014-12-02-12.002.bgdl org.tukaani.xz.XZFormatException: Input is not in the XZ format at org.tukaani.xz.common.DecoderUtil.decodeStreamHeader(Unknown Source) at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source) at org.tukaani.xz.SingleXZInputStream.initialize(Unknown Source) at org.tukaani.xz.SingleXZInputStream.<init>(Unknown Source) at org.tukaani.xz.XZInputStream.<init>(Unknown Source) at org.tukaani.xz.XZInputStream.<init>(Unknown Source) at ru.bitel.bgbilling.kernel.base.server.datalog.channels.XZInputStream.<init>(XZInputStream.java:14) at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.checkStream(IPDataLog.java:291) at ru.bitel.bgbilling.kernel.network.datalog.IPDataLog.asReaderImpl(IPDataLog.java:244) at ru.bitel.bgbilling.kernel.base.server.datalog.DataLog.asReader(DataLog.java:214) at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLog.nextReader(HourlyDataLog.java:146) at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowIterator.fetch(IPDataLogUtils.java:256) at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$FlowDetailIterator.<init>(IPDataLogUtils.java:384) at ru.bitel.bgbilling.kernel.network.datalog.IPDataLogUtils$3.iterator(IPDataLogUtils.java:439) at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:331) at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:261) at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:226) at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.export(FlowExport.java:199) at ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport.main(FlowExport.java:46) При этом файл начинается с .7zXZ 00000000 00 07 FF 00 │ 00 00 00 0A │ 00 00 00 00 │ 00 08 00 00 │ 00 00 01 4A │ 08 70 89 E8 │ 00 05 00 1E │ 65 F8 3C A0 И после переименования расширения с data на xz утилитой unxz распаковывается без ошибок. Код: [root@bg BGInetAccounting]# ls -l log_2014-12-02-02.001* В чем может быть проблема?-rw-r--r-- 1 root root 6080536 Dec 2 02:51 log_2014-12-02-02.001.data [root@bg BGInetAccounting]# unxz log_2014-12-02-02.001.data unxz: log_2014-12-02-02.001.data: Filename has an unknown suffix, skipping [root@bg BGInetAccounting]# mv log_2014-12-02-02.001.data log_2014-12-02-02.001.xz [root@bg BGInetAccounting]# unxz log_2014-12-02-02.001.xz [root@bg BGInetAccounting]# ls -l log_2014-12-02-02.001* -rw-r--r-- 1 root root 31458240 Dec 2 02:51 log_2014-12-02-02.001 Обновлялся потом два раза, извлечение детализации не проверял... На сейчас: Код: Информация о версии: Такую же проблему без ее решения нашел здесь: http://forum.bitel.ru/viewtopic.php?f=44&t=9734&p=80966&hilit=flow#p81456
Клиент: вер. 6.0 сборка 1346 от 19.09.2014 16:34:31 os: Windows XP; java: Java HotSpot(TM) Client VM, v.1.6.0_43 Сервер: вер. 6.0 сборка 1793 от 17.09.2014 01:45:13 os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45 bill вер. 6.0 сборка 344 от 09.09.2014 14:07:48 card вер. 6.0 сборка 228 от 05.09.2014 13:41:15 inet вер. 6.0 сборка 1448 от 19.09.2014 16:34:41 |
Автор: | Amir [ 12 дек 2014, 19:52 ] |
Заголовок сообщения: | Re: размер flow |
Выложили обновление, должно помочь. На netflow9/sFlow/snmp работало нормально, а на netflow5 неправильно отрабатывала старая проверка. |
Автор: | nik247 [ 12 дек 2014, 20:01 ] |
Заголовок сообщения: | Re: размер flow |
Amir писал(а): Выложили обновление, должно помочь. На netflow9/sFlow/snmp работало нормально, а на netflow5 неправильно отрабатывала старая проверка. Спасибо. Попробую сегодня ночью обновится, хотя пятница.... |
Автор: | nik247 [ 12 дек 2014, 21:33 ] |
Заголовок сообщения: | Re: размер flow |
Amir писал(а): Выложили обновление, должно помочь. На netflow9/sFlow/snmp работало нормально, а на netflow5 неправильно отрабатывала старая проверка. А можно каким-то минимальным обновлением обойтись (заменить только библиотеку в Inet) для того, что бы сделать извлечение статистики, не обновляя весь BG? |
Автор: | Amir [ 12 дек 2014, 22:00 ] |
Заголовок сообщения: | Re: размер flow |
Если только класс ru.bitel.bgbilling.kernel.network.datalog.IPDataLog в kernel.jar обновить новым. В нем как раз только это изменение должно быть. Только проверьте потом, что логи точно сохраняет. |
Страница 1 из 2 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |