forum.bitel.ru
http://forum.bitel.ru/

Анализатор Netflow
http://forum.bitel.ru/viewtopic.php?f=22&t=7880		 Страница 1 из 1
Автор:  iONE [ 26 мар 2013, 14:12 ]
Заголовок сообщения:  Анализатор Netflow
Чем можно разбирать логи Netflow.
netflow save не работает без доступа к биллингу.

Нужно людям в пагонах предоставить доступ к файлам логов и им нужна утилита для самостоятельного разбора логов.
Автор:  Amir [ 26 мар 2013, 14:39 ]
Заголовок сообщения:  Re: Анализатор Netflow
Может быть им просто описание структуры дать? :)
Автор:  Amir [ 26 мар 2013, 14:44 ]
Заголовок сообщения:  Re: Анализатор Netflow
Могу предложить только классы Inet (в биллинге формат flow единый) экспорта в csv. С помощью Writer можно писать как в файл, так и в HTTP-ответ или TCP соединение.

java.io.Writer
Код:
java.io.Writer writer =

DefaultServerSetup setup = new DefaultServerSetup();
setup.set( "datalog.flow.dir", "/opt/data/logs" );
int sourceId = 1;
List<Calendar> hours = new ArrayList<Calendar>();
hours.add( new GregorianCalendar( 2013, 0, 1, 12, 0 ) );

//ru.bitel.bgbilling.kernel.network.flow.FlowSelector
//ru.bitel.bgbilling.modules.inet.accounting.detail.InetFlowSelector
//public InetFlowSelector( long timeFrom, long timeTo, Set<Integer> ifaces, byte[] addressFrom, byte[] addressTo,
//           List<IpNet> routeNetList )
FlowSelector selector = new InetFlowSelector( timeFrom, timeTo, null, address, address, null);

//ru.bitel.bgbilling.modules.inet.accounting.detail.FlowExport
//public static void export( DefaultServerSetup setup, String directoryKey, int agentDeviceId, List<Calendar> hours, FlowSelector flowSelector,
//                     Writer writer, String timestampFormat )
FlowExport.export( setup, "datalog.flow.dir", sourceId, hours, selector, writer, null );
Автор:  iONE [ 26 мар 2013, 14:56 ]
Заголовок сообщения:  Re: Анализатор Netflow
А есть способ без доступа к биллингу?
Автор:  snark [ 26 мар 2013, 15:42 ]
Заголовок сообщения:  Re: Анализатор Netflow
А ведь я когда-то просил сделать формат nfdump-а, но ... не сделали ... Бител же не работает с органами - им до лампочки.
Не хотите использовать какой-то другой формат - сделайте, пожалуйста, нам (на самом деле органам) ява утилиту, с помощью которой они смогут сами выбирать из netflow все что им нужно, т.е., как мне это видится, достаточно сделать возможность выборки по src/dst адресу и/или диапазону времени, при этом GUI просто обязателен, иначе они нам всем мозг взорвут.

P.S. Про СОРМ, который всех видит и все про всех знает лучше даже не начинайте ...
Автор:  stark [ 26 мар 2013, 16:22 ]
Заголовок сообщения:  Re: Анализатор Netflow
А нельзя собирать c помощью flow-tools и давать им что-нибудь типа ?
http://wvnetflow.sourceforge.net/

Неужели нет никакой утилиты для парсинга flow-tools и ее придется делать тоже нам ?
Автор:  snark [ 26 мар 2013, 16:38 ]
Заголовок сообщения:  Re: Анализатор Netflow
flow-tools парсить можно - это вообще не проблема, а вот что делать тем, кто уже хранит данные в вашем формате?
Вы же не стали использовать flow-tools, как основной формат и не взяли на вооружение никакой другой из опенсорсных/распространенных. Надо отдать вам должное - формат, в контексте БГБ, свою работу делает на 5+, но на другой стороне этой медали мы видим, что у нас есть куча файлов, которые очень интересны людям в форме, а т.к. эти файлы ничем кроме БГБ открыть нельзя они нам мозг взрывают, заставляя делать нас делать их работу по выборке, т.к. мы не можем предоставить им инструмент для работы с теми файлами, которые им даем.

Для справки: им нужны данные за прошлое время, а не тогда, когда на flow-tools уже переехали
Автор:  Magistr [ 26 мар 2013, 19:03 ]
Заголовок сообщения:  Re: Анализатор Netflow
Вот вам код на питоне допилить думаю несложно т.к формат bgdl уже разобран viewtopic.php?f=25&p=54623#p54623
Автор:  snark [ 26 мар 2013, 19:20 ]
Заголовок сообщения:  Re: Анализатор Netflow
Передать код в органы и пусть пилят под свои нужды?
Автор:  Amir [ 26 мар 2013, 21:04 ]
Заголовок сообщения:  Re: Анализатор Netflow
А может написать GUI-шную и продавать им? :)
Или они, как обычно, просто заставят покупать за свой счет?..

Можно сделать отдельное приложение, используя тот код, что я предложил выше, просто в classpath нужно будет класть kernel.jar и inet.jar.
Автор:  iONE [ 26 мар 2013, 22:06 ]
Заголовок сообщения:  Re: Анализатор Netflow
Отдельное приложение просто необходимо, и желательно с GUI, как заметил коллега, иначе мозг вынесут.
Автор:  snark [ 27 мар 2013, 14:33 ]
Заголовок сообщения:  Re: Анализатор Netflow
От GUI надо:
  • указание пути к файлам - это, вроде, очевидно
  • возможность выборки по src/dst IP адресу и/или диапазону времени - это из опыта, т.к. их вопросы обычно звучат примерно так: "тогда-то обращались на такой-то IP адрес - какой(ие) адрес(а) туда обращался(ись)?", "куда лазил такой-то IP адрес в такой-то диапазон времени?" и т.п. ... ответ на вопрос "кому принадлежал IP адрес в такое-то время?" им либо известен, либо они с ним придут к оператору.
  • Результат выдавать в виде файла, а не слать на почту, т.к. по идее органам запрещено пользоваться интернетами. Если выдавать HTML - его откроет почти что любая ОС без стороннего софта
Дав им инструмент для разбора мы снимаем с себя головную боль в виде невозможности ими разбирать наши файлы и перекладывании этой задачи на нас.
Поддержка тулзой вашего формата наряду с форматом flow-tools всячески приветствуется, т.к. у нас (ваших пользователей) используются разные форматы хранения.


Хитрый план:
  1. Все пользователи сообщают в органы адрес Битела и вскользь намекают типа: "там с эти файлами сделают все что Вы только захотите";
  2. Бител получает из органов оф. запросы и, в придачу к ним, петабайты netflow файлов;
  3. В Бител понимаю что так жить нельзя и запиливают GUI тулзу;
  4. ???
  5. ПРОФИТ!
Автор:  Phricker [ 27 мар 2013, 15:06 ]
Заголовок сообщения:  Re: Анализатор Netflow
Про петабайты.
Где то ж обсуждалось что хранить netflow нет необходимости и достаточно знать что в такое то время IP адрес принадлежал такому то
Автор:  snark [ 27 мар 2013, 15:16 ]
Заголовок сообщения:  Re: Анализатор Netflow
Phricker писал(а):
хранить netflow нет необходимости

Угу ... законодательной необходимости нет, но ... в некоторых регионах фейсы ничего не подпишут, если ты не обязуешься хранить netflow 3 года.

Phricker писал(а):
достаточно знать что в такое то время IP адрес принадлежал такому то

То-ли в законе о связи, то-ли в правилах оказания услуг сказано, что оператор обязан 3 года хранить информацию о сессиях в виде время/трафик/т.д. (про netflow там ни слова!), но нашим органам этого мало - им, не смотря на наличие СОРМ, хочется от оператора узнать кто, куда и когда, а для этого, увы, необходимо хранить netflow ХЗ сколько времени (мы для себя решили - max 3 года).
Автор:  skyb [ 28 мар 2013, 05:35 ]
Заголовок сообщения:  Re: Анализатор Netflow
snark писал(а):
(мы для себя решили - max 3 года).

ленточная библиотека?
Автор:  snark [ 28 мар 2013, 12:02 ]
Заголовок сообщения:  Re: Анализатор Netflow
По мере устаревания файлы заливаются на винты, а те тупо складируются в шкафу )))
Держать в постоянном доступе файлы дольше чем за 3 (max 6) месяца вообще нет смысла.

P.S. Уже давно собираю только "НТТР трафик" (tcp src port 80) - это значительно уменьшает объем netflow файлов.
Автор:  skyb [ 28 мар 2013, 12:06 ]
Заголовок сообщения:  Re: Анализатор Netflow
интересно сколько у тебя винтов, а меняешь как, lvm ?
Автор:  Phricker [ 28 мар 2013, 12:09 ]
Заголовок сообщения:  Re: Анализатор Netflow
Вычислил snark'а на хабре
Изображение
Автор:  skyb [ 28 мар 2013, 12:14 ]
Заголовок сообщения:  Re: Анализатор Netflow
)))))))))
Автор:  snark [ 28 мар 2013, 12:31 ]
Заголовок сообщения:  Re: Анализатор Netflow
skyb писал(а):
меняешь как, lvm ?

Все просто до банальности: покупается внешний USB бокс (типа такого), в него вкладывается винт на 2ТБ - это хоз-во подключается к серваку, данные сливаются, бокс отключается, винт извлекается и упаковывается, на упаковку клеится сопроводиловка, в которой указан период за который на этом винте лежат данные, после чего винт ложится в шкапчик, до момента когда данные понадобятся или до истечения ими срока давности.
Когда данные понадобились - винт подключается, с него копируются данные только за интересующий период, данные обрабатываются и тупо удаляются, т.к. они есть на винте.
Когда данные просрочились - с винта все стирается и на него заливаются новые данные.
Автор:  iONE [ 03 апр 2013, 13:04 ]
Заголовок сообщения:  Re: Анализатор Netflow
Уважаемые разработчики, стоит от вас ожидать такое приложение или нужно делать запрос в HelpDesk?
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/