BiTel

Ув.коллеги, помогите разобраться со структурой bgdl файла. Вроде основная часть понятна, но есть определенные нестыковки, непонятна нагрузка некоторых байт в логе.
Итак, заголовок лога понятен и разбирается нормально. На первом скриншоте все отметил.



Длина параметров заголовков=0x2с, адрес этого поля 0x10, значит заголовок кончается на 0x3с (вернее 0x3с это уже начала блока данных).
А вот с блоком данных оказалось сложнее. Согласно документации

Первые 4 байта - длина блока должна быть, но она какая-то нереальная (0007FF00). Вобщем пропустил это. Нашел с чего должен начинать нетфлоу пакет. 00 05 - версия, 00 1Е - 30 потоков в пакете (по спецификации от 1 до 30).
Между началом нетфлоу и концом заголовка - 6 полей по 4 байта, т.е. какие то 6 int чисел. По спецификации должно быть 3 числа, причем два из них пустыми должны быть.
Похожие два инт числа есть перед началом первого и второго пакета нетфлоу (00000130 0B7D0D84 и 00000130 0B7D0D86) Может быть это относится к типу данных opaque (но для переменной длины должно быть только 4 байта указывающих длину блока, и опять же - не сходится длина в этих числах никак с реальной длиной).

Более того, если идут к data block<> block<> - то вообще полей ну никак не хватает =) а если идет data block <> { lenght, long res, int res, opaque data, opaque data} то тогда в начале поле лишнее и между opaque data лишнии поля какие то.

Брррр вобщем, крыша едет, прошу помощи =)


ps хочу понять что за 6*4 байт между концом заголовка и началом первого пакета данных, и что за 2*4 между пакетами данных.

pps адрес строки с последними данных если что 0x99В338, а сам файл кончается байтом с адресом 0xa0017b. Итого всего 10486140 байт. Никакими перемножениями длин блоков на числа в предполагаемых длинах заголовках получить ни длину блока с данными по пакету нетфлоу, ни длину всех данных получить не удалось =(

Тут есть описание netflow v5, а bgdl ... это из разряда - каждый дро делает как он хочет. Я когда-то предлагал складывать в формате flow-tools или формате nfdump, т.к. это удобно, но предложение не поддержали.

Последняя ссылка нраицца
2 Феанор. Хотите сделать вьювер какой нибудь?

_________________
Цитаты великих людей
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn

Собственно по этой спецификации я и разбирал пакет нетфлоу - с ним проблем нет - пакет нетфлоу в бгдл хранится целиком в исходном виде, с добавлением хеадеров и пары каких то оберточных полей, назначение которых я и не могу понять =)
А ваше предложение я видел уже, нфдамп лучший вариант, да;) У меня просто железка шлет netflow v9 сейчас, стоит нфкапд который это слушает и складывает логи. Решением было бы чтонибудь что на лету из в9 в в5 трафик преобразовывало, но денег на nProbe сейчас не дадут, даже столько мало =( Хотя тут кажется кто-то покупал его, может поделятся исходниками =)

А вообще разрабочики же должны сказать какой формат лога и что значат эти поля с которыми я разобраться не могу. исходники нфкапда есть, переписать чуть чуть и складывать сразу в формате логов бг - не долго =)

Разработчики не сразу отвечают. День-два - ответ будет

_________________
Цитаты великих людей
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn

Хочу из нфдампа сразу лить логи в формате бгбиллинга =)

Не первый раз замужем, знаем знаем =) уже во второй конторе бгбиллинг внедряю, в первой правда был диалап основным модулем, а тут ipn =) да и на выходных надо отдыхать, а не мозги напрягать

А вообще проблему бы решила поддержка 9й версии =)

data {
 block<> {
  int block_length;
  int reserved;
  int reserved;
  opaque block_data {
   int length;
   record<> {
    long millis;
    data<>;
   }
 }
}

0007FF00 - длина блока нормальная, берется из конфига.
Незаполненная часть будет заполнена нулями.
Далее идет 8 байт reserved, затем 4 байта - длина данных в блоке (т.е. после этого количества пойдут нули до конца блока).
Перед самой записью netflow идет long - время в миллисикундах, когда был получен пакет. Т.е. время, пакет; время, пакет; ...

А все же - зачем изобретался велосипед? Почему нельзя было использовать готовые форматы?

В мануале сказано что БГБ понимает формат flow-tools, но не совсем понятно, какой именно, т.е. не понятно понимает ли он только raw или сжатые файлы (-z Х) тоже может понять?

2Amir, а не перепутали? 0x07ff00 (это значение по адресу 0x4c находится) - длина данных, после него идут нули с 0x07ff4c до 0х08004с (т.е. 0x080000+0x4c), а там уже идет новый блок данных. Ну и вообще логично что длина данных не может быть длины блока =) а из конфига берется 080000 - это 512 килобайт, или 524288 байт, что и записано в стандартном конфиге =)

Ну в принципе теперь разобрался, спасибо.

Да-да, перепутал:

data {
 block<> {
  int length; // длина данных в блоке
  int reserved;
  int reserved;
  opaque block_data {
   int block_length; // длина блока = длина данных в блоке + длина 0x00 padding
   record<> {
    long millis;
    data<>;
   }
 }
}

Потому что кроме netflow еще и sflow и snmp сохраняем. И хочется как-то унифицировано это делать. Поэтому такой контейнер.
Да, сжатые тоже понимает.

sflow ~= netflow v9, а snmp туда вообще писать не сложно, разве нет?


УРА Бителу!
В доку!!!111

Хм а подскажите по структуре сжатых логов .. т.к по описанию размер лога получается слишком большим ..а на самом деле он 300кб

UPD хм разобрался вроде

после хедера идет сразу сжатый весь дата блок до конца файла .. а внутри уже структура дата

Добрый день.

Появилась ли готовая тулза для конвертирования из BGDL в формат flow-tools? Очень хочется ее заиметь

Напишите - будет

Таки написал , правда в формат nfdump, т.к. он оказался лучше документирован. Оформил в вики, может кому-нибудь еще пригодится.

Огромное спасибо!!!
Пригодится, еще как пригодится. Для прошлой версии биллинга сам писал приблуду, для руки недошли

Спасибо! Помогло посмотреть логи...