BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 24 июн 2025, 01:42

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 21 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
iONE
 Заголовок сообщения: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 14:12 
Не в сети
Клиент

Зарегистрирован: 25 ноя 2007, 22:48
Сообщения: 472
Карма: 8
Чем можно разбирать логи Netflow.
netflow save не работает без доступа к биллингу.

Нужно людям в пагонах предоставить доступ к файлам логов и им нужна утилита для самостоятельного разбора логов.
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 14:39 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Может быть им просто описание структуры дать? :)
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 14:44 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Могу предложить только классы Inet (в биллинге формат flow единый) экспорта в csv. С помощью Writer можно писать как в файл, так и в HTTP-ответ или TCP соединение.

java.io.Writer
Код:
java.io.Writer writer =

DefaultServerSetup setup = new DefaultServerSetup();
setup.set( "datalog.flow.dir", "/opt/data/logs" );
int sourceId = 1;
List<Calendar> hours = new ArrayList<Calendar>();
hours.add( new GregorianCalendar( 2013, 0, 1, 12, 0 ) );

//ru.bitel.bgbilling.kernel.network.flow.FlowSelector
//ru.bitel.bgbilling.modules.inet.accounting.detail.InetFlowSelector
//public InetFlowSelector( long timeFrom, long timeTo, Set<Integer> ifaces, byte[] addressFrom, byte[] addressTo,
//           List<IpNet> routeNetList )
FlowSelector selector = new InetFlowSelector( timeFrom, timeTo, null, address, address, null);

//ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport
//public static void export( DefaultServerSetup setup, String directoryKey, int agentDeviceId, List<Calendar> hours, FlowSelector flowSelector,
//                     Writer writer, String timestampFormat )
FlowExport.export( setup, "datalog.flow.dir", sourceId, hours, selector, writer, null );
Вернуться к началу
 Профиль  
 
iONE
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 14:56 
Не в сети
Клиент

Зарегистрирован: 25 ноя 2007, 22:48
Сообщения: 472
Карма: 8
А есть способ без доступа к биллингу?
Вернуться к началу
 Профиль  
 
snark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 15:42 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
А ведь я когда-то просил сделать формат nfdump-а, но ... не сделали ... Бител же не работает с органами - им до лампочки.
Не хотите использовать какой-то другой формат - сделайте, пожалуйста, нам (на самом деле органам) ява утилиту, с помощью которой они смогут сами выбирать из netflow все что им нужно, т.е., как мне это видится, достаточно сделать возможность выборки по src/dst адресу и/или диапазону времени, при этом GUI просто обязателен, иначе они нам всем мозг взорвут.

P.S. Про СОРМ, который всех видит и все про всех знает лучше даже не начинайте ...
Вернуться к началу
 Профиль  
 
stark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 16:22 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
А нельзя собирать c помощью flow-tools и давать им что-нибудь типа ?
http://wvnetflow.sourceforge.net/

Неужели нет никакой утилиты для парсинга flow-tools и ее придется делать тоже нам ?
Вернуться к началу
 Профиль  
 
snark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 16:38 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
flow-tools парсить можно - это вообще не проблема, а вот что делать тем, кто уже хранит данные в вашем формате?
Вы же не стали использовать flow-tools, как основной формат и не взяли на вооружение никакой другой из опенсорсных/распространенных. Надо отдать вам должное - формат, в контексте БГБ, свою работу делает на 5+, но на другой стороне этой медали мы видим, что у нас есть куча файлов, которые очень интересны людям в форме, а т.к. эти файлы ничем кроме БГБ открыть нельзя они нам мозг взрывают, заставляя делать нас делать их работу по выборке, т.к. мы не можем предоставить им инструмент для работы с теми файлами, которые им даем.

Для справки: им нужны данные за прошлое время, а не тогда, когда на flow-tools уже переехали
Вернуться к началу
 Профиль  
 
Magistr
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 19:03 
Не в сети
Клиент

Зарегистрирован: 17 дек 2010, 15:27
Сообщения: 147
Карма: 22
Вот вам код на питоне допилить думаю несложно т.к формат bgdl уже разобран viewtopic.php?f=25&p=54623#p54623
Вернуться к началу
 Профиль  
 
snark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 19:20 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
Передать код в органы и пусть пилят под свои нужды?
Вернуться к началу
 Профиль  
 
Amir
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 21:04 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
А может написать GUI-шную и продавать им? :)
Или они, как обычно, просто заставят покупать за свой счет?..

Можно сделать отдельное приложение, используя тот код, что я предложил выше, просто в classpath нужно будет класть kernel.jar и inet.jar.
Вернуться к началу
 Профиль  
 
iONE
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 26 мар 2013, 22:06 
Не в сети
Клиент

Зарегистрирован: 25 ноя 2007, 22:48
Сообщения: 472
Карма: 8
Отдельное приложение просто необходимо, и желательно с GUI, как заметил коллега, иначе мозг вынесут.
Вернуться к началу
 Профиль  
 
snark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 27 мар 2013, 14:33 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
От GUI надо:
  • указание пути к файлам - это, вроде, очевидно
  • возможность выборки по src/dst IP адресу и/или диапазону времени - это из опыта, т.к. их вопросы обычно звучат примерно так: "тогда-то обращались на такой-то IP адрес - какой(ие) адрес(а) туда обращался(ись)?", "куда лазил такой-то IP адрес в такой-то диапазон времени?" и т.п. ... ответ на вопрос "кому принадлежал IP адрес в такое-то время?" им либо известен, либо они с ним придут к оператору.
  • Результат выдавать в виде файла, а не слать на почту, т.к. по идее органам запрещено пользоваться интернетами. Если выдавать HTML - его откроет почти что любая ОС без стороннего софта
Дав им инструмент для разбора мы снимаем с себя головную боль в виде невозможности ими разбирать наши файлы и перекладывании этой задачи на нас.
Поддержка тулзой вашего формата наряду с форматом flow-tools всячески приветствуется, т.к. у нас (ваших пользователей) используются разные форматы хранения.


Хитрый план:
  1. Все пользователи сообщают в органы адрес Битела и вскользь намекают типа: "там с эти файлами сделают все что Вы только захотите";
  2. Бител получает из органов оф. запросы и, в придачу к ним, петабайты netflow файлов;
  3. В Бител понимаю что так жить нельзя и запиливают GUI тулзу;
  4. ???
  5. ПРОФИТ!
Вернуться к началу
 Профиль  
 
Phricker
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 27 мар 2013, 15:06 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472
Про петабайты.
Где то ж обсуждалось что хранить netflow нет необходимости и достаточно знать что в такое то время IP адрес принадлежал такому то

_________________
Цитаты великих людей :umnik:
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn
Вернуться к началу
 Профиль  
 
snark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 27 мар 2013, 15:16 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
Phricker писал(а):
хранить netflow нет необходимости

Угу ... законодательной необходимости нет, но ... в некоторых регионах фейсы ничего не подпишут, если ты не обязуешься хранить netflow 3 года.

Phricker писал(а):
достаточно знать что в такое то время IP адрес принадлежал такому то

То-ли в законе о связи, то-ли в правилах оказания услуг сказано, что оператор обязан 3 года хранить информацию о сессиях в виде время/трафик/т.д. (про netflow там ни слова!), но нашим органам этого мало - им, не смотря на наличие СОРМ, хочется от оператора узнать кто, куда и когда, а для этого, увы, необходимо хранить netflow ХЗ сколько времени (мы для себя решили - max 3 года).
Вернуться к началу
 Профиль  
 
skyb
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 28 мар 2013, 05:35 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
snark писал(а):
(мы для себя решили - max 3 года).

ленточная библиотека?

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений
Вернуться к началу
 Профиль  
 
snark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 28 мар 2013, 12:02 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
По мере устаревания файлы заливаются на винты, а те тупо складируются в шкафу )))
Держать в постоянном доступе файлы дольше чем за 3 (max 6) месяца вообще нет смысла.

P.S. Уже давно собираю только "НТТР трафик" (tcp src port 80) - это значительно уменьшает объем netflow файлов.
Вернуться к началу
 Профиль  
 
skyb
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 28 мар 2013, 12:06 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
интересно сколько у тебя винтов, а меняешь как, lvm ?

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений
Вернуться к началу
 Профиль  
 
Phricker
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 28 мар 2013, 12:09 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472
Вычислил snark'а на хабре
Изображение

_________________
Цитаты великих людей :umnik:
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn
Вернуться к началу
 Профиль  
 
skyb
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 28 мар 2013, 12:14 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
)))))))))

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений
Вернуться к началу
 Профиль  
 
snark
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 28 мар 2013, 12:31 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
skyb писал(а):
меняешь как, lvm ?

Все просто до банальности: покупается внешний USB бокс (типа такого), в него вкладывается винт на 2ТБ - это хоз-во подключается к серваку, данные сливаются, бокс отключается, винт извлекается и упаковывается, на упаковку клеится сопроводиловка, в которой указан период за который на этом винте лежат данные, после чего винт ложится в шкапчик, до момента когда данные понадобятся или до истечения ими срока давности.
Когда данные понадобились - винт подключается, с него копируются данные только за интересующий период, данные обрабатываются и тупо удаляются, т.к. они есть на винте.
Когда данные просрочились - с винта все стирается и на него заливаются новые данные.
Вернуться к началу
 Профиль  
 
iONE
 Заголовок сообщения: Re: Анализатор Netflow
СообщениеДобавлено: 03 апр 2013, 13:04 
Не в сети
Клиент

Зарегистрирован: 25 ноя 2007, 22:48
Сообщения: 472
Карма: 8
Уважаемые разработчики, стоит от вас ожидать такое приложение или нужно делать запрос в HelpDesk?
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 21 ] 

Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.081s | 61 Queries | GZIP : On ]