BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 22 июн 2025, 05:23

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 17 ] 
Автор Сообщение
СообщениеДобавлено: 03 апр 2009, 15:19 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
Во общем суть такая, коллектор и сенсор находятся на разных машинах в разных частях города. В случае пропадания связи между ними netflow поток теряется. Вот и вопрос: кто-нибудь пробовал или знает как можно сохранять netflow поток на шлюзе, чтобы в случае потери соединения, все потоки не потерялись, а аккуратненько сохранялись на шлюзе и потом, после восстановления соединения я бы их скормил netflow коллектору.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 03 апр 2009, 15:22 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
Как я понял, можно поставить коллектор на шлюз, он там и будет сразу обрабатывать траффик и заносить данные в БД.
А если разорвется связь с БД есть ли возможность заставить коллектор пересчитать логи за определенное время? И можно ли это автоматизировать?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06 апр 2009, 14:53 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06 апр 2009, 16:56 
Не в сети

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27
сделать можно все если не бояться немного попрограмить, у тех кто использует flow-tools коллектор все загружается простым дерганьем скрипта при ротейте flow-tools файла, никто не мешает написать еще один скрипт который будет верифицировать логи, лазить в таблицу source_data_{yyyy}{mm} сравнивать что там в mtime, process и тп

можно даже заморочится смотреть в "lost flows" в заголовках flow-tools и в случае наличия потерь перекачивать исходный файл с другого коллектора и перезапускать его через flow2bitel

у меня с этим только одна проблема возникла: exporter IP, надо заморочится переписать конвертор из-за того что биллинг сопоставляет источник только с одним адресом


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06 апр 2009, 18:55 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
Администратор писал(а):
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..


В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06 апр 2009, 21:23 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 08 мар 2007, 20:44
Сообщения: 1570
Откуда: Челябинск
Карма: 18
tiffolk писал(а):
Администратор писал(а):
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..


В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета?

существует прога называется nfproxy
писали наши программеры
http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06 апр 2009, 21:34 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
Спасибо :D , а в источниках будут обновляться "квадратики" загруженных логов?
Те например связи не было-день потерян и в биллинге он белый, а потом связь появилась и ваш прокси отправил потерянную информацию. По хорошему квадратики должны перекраситься, а как у вас?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 06 апр 2009, 21:56 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
max писал(а):
tiffolk писал(а):
Администратор писал(а):
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..


В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета?

существует прога называется nfproxy
писали наши программеры
http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz


Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 00:53 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 08 мар 2007, 20:44
Сообщения: 1570
Откуда: Челябинск
Карма: 18
tiffolk писал(а):
Спасибо :D , а в источниках будут обновляться "квадратики" загруженных логов?
Те например связи не было-день потерян и в биллинге он белый, а потом связь появилась и ваш прокси отправил потерянную информацию. По хорошему квадратики должны перекраситься, а как у вас?

если честно не на столько глубоко знаю бгб что бы что то утверждать поэтому промолчу


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 00:53 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 08 мар 2007, 20:44
Сообщения: 1570
Откуда: Челябинск
Карма: 18
tiffolk писал(а):
max писал(а):
tiffolk писал(а):
Администратор писал(а):
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..


В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета?

существует прога называется nfproxy
писали наши программеры
http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz


Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP.

да точно, завтра узнаю чем принимали по тсп пакеты!


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 03:23 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
max писал(а):
tiffolk писал(а):
max писал(а):
tiffolk писал(а):
Администратор писал(а):
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..


В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета?

существует прога называется nfproxy
писали наши программеры
http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz


Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP.

да точно, завтра узнаю чем принимали по тсп пакеты!


Надо поставить тут карму)
Я бы тебе плюсанул)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 10:53 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 08 мар 2007, 20:44
Сообщения: 1570
Откуда: Челябинск
Карма: 18
tiffolk писал(а):
max писал(а):
tiffolk писал(а):
max писал(а):
tiffolk писал(а):
Администратор писал(а):
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..


В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета?

существует прога называется nfproxy
писали наши программеры
http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz


Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP.

да точно, завтра узнаю чем принимали по тсп пакеты!


Надо поставить тут карму)
Я бы тебе плюсанул)

я вас не понял


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 16:03 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
отголоски Хабра. :)
Жду ответа как узнаете чем принимали tcp пакеты )


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 17:10 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 08 мар 2007, 20:44
Сообщения: 1570
Откуда: Челябинск
Карма: 18
tiffolk писал(а):
отголоски Хабра. :)
Жду ответа как узнаете чем принимали tcp пакеты )

узнал, поток принимал модифицированный коллектор от старого биллинга встроенный в ядро этого биллинга. сори.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 17:44 
Не в сети

Зарегистрирован: 09 мар 2009, 05:37
Сообщения: 59
Карма: 0
Ничего страшного)
Может кто знает, как с TCP порта переадресовать траффик на UDP порт?
Те с преобразованием каким-то


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 08 апр 2009, 18:13 
Не в сети

Зарегистрирован: 07 май 2008, 13:34
Сообщения: 594
Откуда: Москва
Карма: 27
переадресовать не выйдет, с одной стороны протокол без подтверждения, с другой с подтверждением, а так на любом языке открываешь два сокета и перекидываешь данные, написать в простейшем варианте можно меньше чем за минуту на том же перле

TCP->UDP делается без каких либо проверок, так как источник "медленней", а вот наоборот сделать гораздо сложнее, надо буферизовать данные выгребаемые из UDP


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 09 апр 2009, 09:24 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 08 мар 2007, 20:44
Сообщения: 1570
Откуда: Челябинск
Карма: 18
Jimson писал(а):
TCP->UDP делается без каких либо проверок, так как источник "медленней", а вот наоборот сделать гораздо сложнее, надо буферизовать данные выгребаемые из UDP

но удп->тсп уже реализовано!


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 17 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.057s | 50 Queries | GZIP : On ]