forum.bitel.ru
http://forum.bitel.ru/

Переобработка netflow
http://forum.bitel.ru/viewtopic.php?f=44&t=7678		 Страница 1 из 1
Автор:  Bazhutyan [ 05 фев 2013, 04:46 ]
Заголовок сообщения:  Переобработка netflow
Запустил вчера переобработку нетфлоу за один день.
Скорость мягко говоря никакая оказалась - 1 час логов переобрабатывались часа 4-е реального времени.
Сделал "Удалить из обработки", но accounting продолжал молотить.
Решил перезапустить Accounting сервер и он подвис на stop'е. В итоге пока я ждал когда же он всё-таки
остановится, все это время сервер не принимал netflow с кошек и в итоге куча потерянного трафика!!
Пришлось делать kill -9

Первый вопрос - нельзя-ли как-то исправить этот глюк?
Второй вопрос - как залить "потерянный" netflow (он сохранялся другим коллектором)?
Автор:  stark [ 05 фев 2013, 14:40 ]
Заголовок сообщения:  Re: Переобработка netflow
Bazhutyan писал(а):
Запустил вчера переобработку нетфлоу за один день.

За текущий день(на момент обработки ) обрабатывали ?

Bazhutyan писал(а):

Скорость мягко говоря никакая оказалась - 1 час логов переобрабатывались часа 4-е реального времени.
Сделал "Удалить из обработки", но accounting продолжал молотить.
Решил перезапустить Accounting сервер и он подвис на stop'е. В итоге пока я ждал когда же он всё-таки
остановится, все это время сервер не принимал netflow с кошек и в итоге куча потерянного трафика!!
Пришлось делать kill -9
Первый вопрос - нельзя-ли как-то исправить этот глюк?

Доступ дадите ? Возможно какая-то блокировка произошла.

Bazhutyan писал(а):

Второй вопрос - как залить "потерянный" netflow (он сохранялся другим коллектором)?

Коллектор - это наш коллектор, т.е другой accounting-cсервер ?
Автор:  Bazhutyan [ 06 фев 2013, 04:30 ]
Заголовок сообщения:  Re: Переобработка netflow
stark писал(а):
За текущий день(на момент обработки ) обрабатывали ?

нет, обрабатывал за 1-е число.

stark писал(а):
Доступ дадите ? Возможно какая-то блокировка произошла.

Доступ-то я дать могу, только логи за то число уже затерлись. Вы бы лучше научили куда смотреть и что проверять в таких случаях, чтобы
каждый раз на форум не обращаться.
Кстати вообще такая медленная скорость переобработки это нормально или можно сделать какой-то тюнинг?

stark писал(а):
Bazhutyan писал(а):

Второй вопрос - как залить "потерянный" netflow (он сохранялся другим коллектором)?

Коллектор - это наш коллектор, т.е другой accounting-cсервер ?

Нет, это flow-capture из flow-tools.
Автор:  stark [ 06 фев 2013, 12:09 ]
Заголовок сообщения:  Re: Переобработка netflow
Bazhutyan писал(а):

stark писал(а):
Доступ дадите ? Возможно какая-то блокировка произошла.

Доступ-то я дать могу, только логи за то число уже затерлись. Вы бы лучше научили куда смотреть и что проверять в таких случаях, чтобы
каждый раз на форум не обращаться.
Кстати вообще такая медленная скорость переобработки это нормально или можно сделать какой-то тюнинг?



Нужен доступ, чтобы понять что там у вас со скоростью.
Автор:  Bazhutyan [ 13 фев 2013, 02:57 ]
Заголовок сообщения:  Re: Переобработка netflow
Что всё-таки насчёт дозаливки нетфлоу задним числом?
Это вообще возможно?
Наверняка кто-то озадачивался этим, поделитесь опытом!

У меня пропуск получился с 18 часов одного дня до 10 часов следующего.
бэкап нетфлоу имеется в формате flow-tools. Может есть конвертер в формат BG?
Автор:  Amir [ 13 фев 2013, 13:50 ]
Заголовок сообщения:  Re: Переобработка netflow
Поддерживаются логи flow-tools, но в почасовом виде, как если бы запущен с опцией -N 3 - flow-capture -N -3 (YYYY/YYYY-MM/YYYY-MM-DD/ft-v05.YYYY-MM-DD.HHxxxx+xxxx).
В этом виде структура папок совпадает с тем как сохраняет биллинг и можно просто заменить логи биллинга логами.
viewtopic.php?f=7&t=1679
Автор:  Bazhutyan [ 21 фев 2013, 03:31 ]
Заголовок сообщения:  Re: Переобработка netflow
Обновился сегодня.

Ошибка при переобработке логов от flow-tools осталась:
Код:
accounting 02-21/09:29:47 ERROR [worker-p-14-t-1] InetLogProccessor - EROOR!!!!
java.util.concurrent.ExecutionException: ru.bitel.bgbilling.common.BGException: java.lang.ClassCastException: ru.bitel.bgbilling.kernel.network.datalog.flowtools.FlowToolsLogReader cannot be cast to ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader
        at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
        at java.util.concurrent.FutureTask.get(FutureTask.java:83)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor.process(InetLogProccessor.java:221)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor.run(InetLogProccessor.java:127)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:439)
        at java.util.concurrent.FutureTask$Sync.innerRunAndReset(FutureTask.java:317)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:150)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$101(ScheduledThreadPoolExecutor.java:98)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.runPeriodic(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:204)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40)
Caused by: ru.bitel.bgbilling.common.BGException: java.lang.ClassCastException: ru.bitel.bgbilling.kernel.network.datalog.flowtools.FlowToolsLogReader cannot be cast to ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.NetflowHourLogProcessor.getAmountsFromLogs(NetflowHourLogProcessor.java:181)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor$1.call(InetLogProccessor.java:208)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor$1.call(InetLogProccessor.java:1)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.lang.ClassCastException: ru.bitel.bgbilling.kernel.network.datalog.flowtools.FlowToolsLogReader cannot be cast to ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.NetflowHourLogProcessor.getAmountsFromLogs(NetflowHourLogProcessor.java:135)
        ... 7 more
Автор:  Amir [ 21 фев 2013, 14:29 ]
Заголовок сообщения:  Re: Переобработка netflow
Цитата:
Ошибка при переобработке логов от flow-tools осталась:
Выложили обновление.
Автор:  LёLik [ 21 фев 2013, 20:38 ]
Заголовок сообщения:  Re: Переобработка netflow
Как настроить модуль inet таким образом, чтобы он обрабатывал логи flow-capture?
Автор:  Bazhutyan [ 22 фев 2013, 02:56 ]
Заголовок сообщения:  Re: Переобработка netflow
LёLik писал(а):
Как настроить модуль inet таким образом, чтобы он обрабатывал логи flow-capture?

Я никак его не настраивал, просто скопировал файлы от flow-capture в папку flow/source_N/YYYY/YYYY-MM/YYYY-MM-DD
Автор:  Bazhutyan [ 22 фев 2013, 03:54 ]
Заголовок сообщения:  Re: Переобработка netflow
Amir писал(а):
Цитата:
Ошибка при переобработке логов от flow-tools осталась:
Выложили обновление.


Обновился сегодня. Ошибка ушла.
Файл от flow-tools стало считать.
Но почему-то появились WARN-записи о том, что сессия не найдена. А она есть.
При запросе детализации тот трафик, для которого ругается что сессии нет, тоже есть.

В accounting.log:
Код:
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:37713 / 1:217.69.129.91:443 1741 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:48634 / 1:217.69.135.131:443 104 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013


Сессия:
Вложение:
sess.png
sess.png [ 11 КБ | Просмотров: 8225 ]



Данные из детализации:
Код:
05.02.2013 10:30:35;91.189.235.50;37713;217.69.129.91;443;1741;25;1;6
05.02.2013 10:30:35;91.189.235.50;48634;217.69.135.131;443;104;25;1;6
Автор:  Bazhutyan [ 22 фев 2013, 08:17 ]
Заголовок сообщения:  Re: Переобработка netflow
Еще вопрос о дублировании или задвоении трафика при добавлении трафика от flow-tools с трафиком от коллектора БГ.
Может есть какой-то флаг, чтобы не было задвоения? Или какой-то другой механизм?
Может второй accounting-сервер, который использовать только для файлов от flow-tools?
Автор:  Phricker [ 22 фев 2013, 11:10 ]
Заголовок сообщения:  Re: Переобработка netflow
LёLik писал(а):
Как настроить модуль inet таким образом, чтобы он обрабатывал логи flow-capture?

Я вам ссылку на конкретный пост в этой теме дал.
Но если хотите могу и процитировать то что написано выше
Amir писал(а):
Поддерживаются логи flow-tools, но в почасовом виде, как если бы запущен с опцией -N 3 - flow-capture -N -3 (YYYY/YYYY-MM/YYYY-MM-DD/ft-v05.YYYY-MM-DD.HHxxxx+xxxx).
В этом виде структура папок совпадает с тем как сохраняет биллинг и можно просто заменить логи биллинга логами.
viewtopic.php?f=7&t=1679


И опять таки задаю вопрос.
Вы принципиально не хотите делать коллектором сам модуль Inet или же просто не знаете что в нем такая возможность есть?
Автор:  stark [ 22 фев 2013, 11:55 ]
Заголовок сообщения:  Re: Переобработка netflow
Bazhutyan писал(а):
В accounting.log:
Код:
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:37713 / 1:217.69.129.91:443 1741 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:48634 / 1:217.69.135.131:443 104 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013




Тут все правильно . " session not found for 2" 2 - это входящий трафик , а тут у вас исходящий. Он каждую строку пытается и как входящий интерпретировать и как исходящий(в общем случае она может быть сразу и тем и тем) . Если с 1 то же самое будет, то это ошибка . При runtime он тоже такое пишет только в режиме логирования TRACE. Сменили WARN на TRACE при переобработке тоже. В следующем обновлении будет.
Автор:  Bazhutyan [ 22 фев 2013, 12:29 ]
Заголовок сообщения:  Re: Переобработка netflow
stark писал(а):
Тут все правильно . " session not found for 2" 2 - это входящий трафик , а тут у вас исходящий. Он каждую строку пытается и как входящий интерпретировать и как исходящий(в общем случае она может быть сразу и тем и тем) . Если с 1 то же самое будет, то это ошибка . При runtime он тоже такое пишет только в режиме логирования TRACE. Сменили WARN на TRACE при переобработке тоже. В следующем обновлении будет.


Понятно.
А как всё-таки насчет дублирования?
Можно что-нибудь придумать?
Автор:  LёLik [ 22 фев 2013, 12:39 ]
Заголовок сообщения:  Re: Переобработка netflow
Phricker писал(а):
Я вам ссылку на конкретный пост в этой теме дал. Но если хотите могу и процитировать то что написано выше


Я прочитал по ссылке. И в каком формате должны быть логи flow-capture мне понятно, мне скорее непонятно как скормить эти файлы BGInetAccounting


Phricker писал(а):
И опять таки задаю вопрос. Вы принципиально не хотите делать коллектором сам модуль Inet или же просто не знаете что в нем такая возможность есть?


Задача требует, чтобы архив логов хранился в формате flow-tools. Насколько я понял из прочитанного, BGBilling сохраняет логи в собственном формате.
Автор:  stark [ 22 фев 2013, 20:20 ]
Заголовок сообщения:  Re: Переобработка netflow
Bazhutyan писал(а):
stark писал(а):
Тут все правильно . " session not found for 2" 2 - это входящий трафик , а тут у вас исходящий. Он каждую строку пытается и как входящий интерпретировать и как исходящий(в общем случае она может быть сразу и тем и тем) . Если с 1 то же самое будет, то это ошибка . При runtime он тоже такое пишет только в режиме логирования TRACE. Сменили WARN на TRACE при переобработке тоже. В следующем обновлении будет.


Понятно.
А как всё-таки насчет дублирования?
Можно что-нибудь придумать?


А нельзя сделать так, чтобы час брался либо только из наших логов либо (исключающее или) из flow-tools?. Т.е только проблемные часы перетереть логами из flow-tools
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/