BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 22 июн 2025, 04:06

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Модули Интернета » Модуль Inet

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 17 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
Bazhutyan
 Заголовок сообщения: Переобработка netflow
СообщениеДобавлено: 05 фев 2013, 04:46 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
Запустил вчера переобработку нетфлоу за один день.
Скорость мягко говоря никакая оказалась - 1 час логов переобрабатывались часа 4-е реального времени.
Сделал "Удалить из обработки", но accounting продолжал молотить.
Решил перезапустить Accounting сервер и он подвис на stop'е. В итоге пока я ждал когда же он всё-таки
остановится, все это время сервер не принимал netflow с кошек и в итоге куча потерянного трафика!!
Пришлось делать kill -9

Первый вопрос - нельзя-ли как-то исправить этот глюк?
Второй вопрос - как залить "потерянный" netflow (он сохранялся другим коллектором)?
Вернуться к началу
 Профиль  
 
stark
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 05 фев 2013, 14:40 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Bazhutyan писал(а):
Запустил вчера переобработку нетфлоу за один день.

За текущий день(на момент обработки ) обрабатывали ?

Bazhutyan писал(а):

Скорость мягко говоря никакая оказалась - 1 час логов переобрабатывались часа 4-е реального времени.
Сделал "Удалить из обработки", но accounting продолжал молотить.
Решил перезапустить Accounting сервер и он подвис на stop'е. В итоге пока я ждал когда же он всё-таки
остановится, все это время сервер не принимал netflow с кошек и в итоге куча потерянного трафика!!
Пришлось делать kill -9
Первый вопрос - нельзя-ли как-то исправить этот глюк?

Доступ дадите ? Возможно какая-то блокировка произошла.

Bazhutyan писал(а):

Второй вопрос - как залить "потерянный" netflow (он сохранялся другим коллектором)?

Коллектор - это наш коллектор, т.е другой accounting-cсервер ?
Вернуться к началу
 Профиль  
 
Bazhutyan
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 06 фев 2013, 04:30 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
stark писал(а):
За текущий день(на момент обработки ) обрабатывали ?

нет, обрабатывал за 1-е число.

stark писал(а):
Доступ дадите ? Возможно какая-то блокировка произошла.

Доступ-то я дать могу, только логи за то число уже затерлись. Вы бы лучше научили куда смотреть и что проверять в таких случаях, чтобы
каждый раз на форум не обращаться.
Кстати вообще такая медленная скорость переобработки это нормально или можно сделать какой-то тюнинг?

stark писал(а):
Bazhutyan писал(а):

Второй вопрос - как залить "потерянный" netflow (он сохранялся другим коллектором)?

Коллектор - это наш коллектор, т.е другой accounting-cсервер ?

Нет, это flow-capture из flow-tools.
Вернуться к началу
 Профиль  
 
stark
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 06 фев 2013, 12:09 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Bazhutyan писал(а):

stark писал(а):
Доступ дадите ? Возможно какая-то блокировка произошла.

Доступ-то я дать могу, только логи за то число уже затерлись. Вы бы лучше научили куда смотреть и что проверять в таких случаях, чтобы
каждый раз на форум не обращаться.
Кстати вообще такая медленная скорость переобработки это нормально или можно сделать какой-то тюнинг?



Нужен доступ, чтобы понять что там у вас со скоростью.
Вернуться к началу
 Профиль  
 
Bazhutyan
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 13 фев 2013, 02:57 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
Что всё-таки насчёт дозаливки нетфлоу задним числом?
Это вообще возможно?
Наверняка кто-то озадачивался этим, поделитесь опытом!

У меня пропуск получился с 18 часов одного дня до 10 часов следующего.
бэкап нетфлоу имеется в формате flow-tools. Может есть конвертер в формат BG?
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 13 фев 2013, 13:50 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Поддерживаются логи flow-tools, но в почасовом виде, как если бы запущен с опцией -N 3 - flow-capture -N -3 (YYYY/YYYY-MM/YYYY-MM-DD/ft-v05.YYYY-MM-DD.HHxxxx+xxxx).
В этом виде структура папок совпадает с тем как сохраняет биллинг и можно просто заменить логи биллинга логами.
viewtopic.php?f=7&t=1679
Вернуться к началу
 Профиль  
 
Bazhutyan
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 21 фев 2013, 03:31 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
Обновился сегодня.

Ошибка при переобработке логов от flow-tools осталась:
Код:
accounting 02-21/09:29:47 ERROR [worker-p-14-t-1] InetLogProccessor - EROOR!!!!
java.util.concurrent.ExecutionException: ru.bitel.bgbilling.common.BGException: java.lang.ClassCastException: ru.bitel.bgbilling.kernel.network.datalog.flowtools.FlowToolsLogReader cannot be cast to ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader
        at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
        at java.util.concurrent.FutureTask.get(FutureTask.java:83)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor.process(InetLogProccessor.java:221)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor.run(InetLogProccessor.java:127)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:439)
        at java.util.concurrent.FutureTask$Sync.innerRunAndReset(FutureTask.java:317)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:150)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$101(ScheduledThreadPoolExecutor.java:98)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.runPeriodic(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:204)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40)
Caused by: ru.bitel.bgbilling.common.BGException: java.lang.ClassCastException: ru.bitel.bgbilling.kernel.network.datalog.flowtools.FlowToolsLogReader cannot be cast to ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.NetflowHourLogProcessor.getAmountsFromLogs(NetflowHourLogProcessor.java:181)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor$1.call(InetLogProccessor.java:208)
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.InetLogProccessor$1.call(InetLogProccessor.java:1)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.lang.ClassCastException: ru.bitel.bgbilling.kernel.network.datalog.flowtools.FlowToolsLogReader cannot be cast to ru.bitel.bgbilling.kernel.network.datalog.netflow.NetflowDataLogReader
        at ru.bitel.bgbilling.modules.inet.accounting.proccess.NetflowHourLogProcessor.getAmountsFromLogs(NetflowHourLogProcessor.java:135)
        ... 7 more
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 21 фев 2013, 14:29 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Цитата:
Ошибка при переобработке логов от flow-tools осталась:
Выложили обновление.
Вернуться к началу
 Профиль  
 
LёLik
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 21 фев 2013, 20:38 
Не в сети
Клиент

Зарегистрирован: 21 фев 2013, 19:00
Сообщения: 133
Карма: 0
Как настроить модуль inet таким образом, чтобы он обрабатывал логи flow-capture?
Вернуться к началу
 Профиль  
 
Bazhutyan
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 02:56 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
LёLik писал(а):
Как настроить модуль inet таким образом, чтобы он обрабатывал логи flow-capture?

Я никак его не настраивал, просто скопировал файлы от flow-capture в папку flow/source_N/YYYY/YYYY-MM/YYYY-MM-DD
Вернуться к началу
 Профиль  
 
Bazhutyan
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 03:54 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
Amir писал(а):
Цитата:
Ошибка при переобработке логов от flow-tools осталась:
Выложили обновление.


Обновился сегодня. Ошибка ушла.
Файл от flow-tools стало считать.
Но почему-то появились WARN-записи о том, что сессия не найдена. А она есть.
При запросе детализации тот трафик, для которого ругается что сессии нет, тоже есть.

В accounting.log:
Код:
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:37713 / 1:217.69.129.91:443 1741 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:48634 / 1:217.69.135.131:443 104 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013


Сессия:
Вложение:
sess.png
sess.png [ 11 КБ | Просмотров: 8025 ]



Данные из детализации:
Код:
05.02.2013 10:30:35;91.189.235.50;37713;217.69.129.91;443;1741;25;1;6
05.02.2013 10:30:35;91.189.235.50;48634;217.69.135.131;443;104;25;1;6
Вернуться к началу
 Профиль  
 
Bazhutyan
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 08:17 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
Еще вопрос о дублировании или задвоении трафика при добавлении трафика от flow-tools с трафиком от коллектора БГ.
Может есть какой-то флаг, чтобы не было задвоения? Или какой-то другой механизм?
Может второй accounting-сервер, который использовать только для файлов от flow-tools?
Вернуться к началу
 Профиль  
 
Phricker
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 11:10 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472
LёLik писал(а):
Как настроить модуль inet таким образом, чтобы он обрабатывал логи flow-capture?

Я вам ссылку на конкретный пост в этой теме дал.
Но если хотите могу и процитировать то что написано выше
Amir писал(а):
Поддерживаются логи flow-tools, но в почасовом виде, как если бы запущен с опцией -N 3 - flow-capture -N -3 (YYYY/YYYY-MM/YYYY-MM-DD/ft-v05.YYYY-MM-DD.HHxxxx+xxxx).
В этом виде структура папок совпадает с тем как сохраняет биллинг и можно просто заменить логи биллинга логами.
viewtopic.php?f=7&t=1679


И опять таки задаю вопрос.
Вы принципиально не хотите делать коллектором сам модуль Inet или же просто не знаете что в нем такая возможность есть?

_________________
Цитаты великих людей :umnik:
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn
Вернуться к началу
 Профиль  
 
stark
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 11:55 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Bazhutyan писал(а):
В accounting.log:
Код:
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:37713 / 1:217.69.129.91:443 1741 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013
accounting 02-22/09:06:27  WARN [pool-13-thread-2] NetflowHourLogProcessor - session not found for 2 Flow 25:91.189.235.50:48634 / 1:217.69.135.131:443 104 ToS/DiffServ: 0 nextHop: 91.189.232.65 amd millisTue Feb 05 10:30:35 PETT 2013




Тут все правильно . " session not found for 2" 2 - это входящий трафик , а тут у вас исходящий. Он каждую строку пытается и как входящий интерпретировать и как исходящий(в общем случае она может быть сразу и тем и тем) . Если с 1 то же самое будет, то это ошибка . При runtime он тоже такое пишет только в режиме логирования TRACE. Сменили WARN на TRACE при переобработке тоже. В следующем обновлении будет.
Вернуться к началу
 Профиль  
 
Bazhutyan
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 12:29 
Не в сети
Клиент

Зарегистрирован: 03 авг 2010, 15:18
Сообщения: 357
Откуда: Камчатка
Карма: 8
stark писал(а):
Тут все правильно . " session not found for 2" 2 - это входящий трафик , а тут у вас исходящий. Он каждую строку пытается и как входящий интерпретировать и как исходящий(в общем случае она может быть сразу и тем и тем) . Если с 1 то же самое будет, то это ошибка . При runtime он тоже такое пишет только в режиме логирования TRACE. Сменили WARN на TRACE при переобработке тоже. В следующем обновлении будет.


Понятно.
А как всё-таки насчет дублирования?
Можно что-нибудь придумать?
Вернуться к началу
 Профиль  
 
LёLik
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 12:39 
Не в сети
Клиент

Зарегистрирован: 21 фев 2013, 19:00
Сообщения: 133
Карма: 0
Phricker писал(а):
Я вам ссылку на конкретный пост в этой теме дал. Но если хотите могу и процитировать то что написано выше


Я прочитал по ссылке. И в каком формате должны быть логи flow-capture мне понятно, мне скорее непонятно как скормить эти файлы BGInetAccounting


Phricker писал(а):
И опять таки задаю вопрос. Вы принципиально не хотите делать коллектором сам модуль Inet или же просто не знаете что в нем такая возможность есть?


Задача требует, чтобы архив логов хранился в формате flow-tools. Насколько я понял из прочитанного, BGBilling сохраняет логи в собственном формате.
Вернуться к началу
 Профиль  
 
stark
 Заголовок сообщения: Re: Переобработка netflow
СообщениеДобавлено: 22 фев 2013, 20:20 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Bazhutyan писал(а):
stark писал(а):
Тут все правильно . " session not found for 2" 2 - это входящий трафик , а тут у вас исходящий. Он каждую строку пытается и как входящий интерпретировать и как исходящий(в общем случае она может быть сразу и тем и тем) . Если с 1 то же самое будет, то это ошибка . При runtime он тоже такое пишет только в режиме логирования TRACE. Сменили WARN на TRACE при переобработке тоже. В следующем обновлении будет.


Понятно.
А как всё-таки насчет дублирования?
Можно что-нибудь придумать?


А нельзя сделать так, чтобы час брался либо только из наших логов либо (исключающее или) из flow-tools?. Т.е только проблемные часы перетереть логами из flow-tools
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 17 ] 

Список форумов » BGBilling » Модули Интернета » Модуль Inet

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: Bing [Bot] и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.058s | 54 Queries | GZIP : On ]