| forum.bitel.ru http://forum.bitel.ru/ |
|
| Netflow переобсчет потерянного траффика http://forum.bitel.ru/viewtopic.php?f=7&t=2121 |
Страница 1 из 1 |
| Автор: | tiffolk [ 03 апр 2009, 15:19 ] |
| Заголовок сообщения: | Netflow переобсчет потерянного траффика |
Во общем суть такая, коллектор и сенсор находятся на разных машинах в разных частях города. В случае пропадания связи между ними netflow поток теряется. Вот и вопрос: кто-нибудь пробовал или знает как можно сохранять netflow поток на шлюзе, чтобы в случае потери соединения, все потоки не потерялись, а аккуратненько сохранялись на шлюзе и потом, после восстановления соединения я бы их скормил netflow коллектору. |
|
| Автор: | tiffolk [ 03 апр 2009, 15:22 ] |
| Заголовок сообщения: | |
Как я понял, можно поставить коллектор на шлюз, он там и будет сразу обрабатывать траффик и заносить данные в БД. А если разорвется связь с БД есть ли возможность заставить коллектор пересчитать логи за определенное время? И можно ли это автоматизировать? |
|
| Автор: | Администратор [ 06 апр 2009, 14:53 ] |
| Заголовок сообщения: | |
Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится.. |
|
| Автор: | Jimson [ 06 апр 2009, 16:56 ] |
| Заголовок сообщения: | |
сделать можно все если не бояться немного попрограмить, у тех кто использует flow-tools коллектор все загружается простым дерганьем скрипта при ротейте flow-tools файла, никто не мешает написать еще один скрипт который будет верифицировать логи, лазить в таблицу source_data_{yyyy}{mm} сравнивать что там в mtime, process и тп можно даже заморочится смотреть в "lost flows" в заголовках flow-tools и в случае наличия потерь перекачивать исходный файл с другого коллектора и перезапускать его через flow2bitel у меня с этим только одна проблема возникла: exporter IP, надо заморочится переписать конвертор из-за того что биллинг сопоставляет источник только с одним адресом |
|
| Автор: | tiffolk [ 06 апр 2009, 18:55 ] |
| Заголовок сообщения: | |
Администратор писал(а): Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится..
В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета? |
|
| Автор: | max [ 06 апр 2009, 21:23 ] |
| Заголовок сообщения: | |
tiffolk писал(а): Администратор писал(а): Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится.. В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета? существует прога называется nfproxy писали наши программеры http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz |
|
| Автор: | tiffolk [ 06 апр 2009, 21:34 ] |
| Заголовок сообщения: | |
Спасибо  , а в источниках будут обновляться "квадратики" загруженных логов?
Те например связи не было-день потерян и в биллинге он белый, а потом связь появилась и ваш прокси отправил потерянную информацию. По хорошему квадратики должны перекраситься, а как у вас? |
|
| Автор: | tiffolk [ 06 апр 2009, 21:56 ] |
| Заголовок сообщения: | |
max писал(а): tiffolk писал(а): Администратор писал(а): Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится.. В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета? существует прога называется nfproxy писали наши программеры http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP. |
|
| Автор: | max [ 08 апр 2009, 00:53 ] |
| Заголовок сообщения: | |
tiffolk писал(а): Спасибо
, а в источниках будут обновляться "квадратики" загруженных логов?Те например связи не было-день потерян и в биллинге он белый, а потом связь появилась и ваш прокси отправил потерянную информацию. По хорошему квадратики должны перекраситься, а как у вас? если честно не на столько глубоко знаю бгб что бы что то утверждать поэтому промолчу |
|
| Автор: | max [ 08 апр 2009, 00:53 ] |
| Заголовок сообщения: | |
tiffolk писал(а): max писал(а): tiffolk писал(а): Администратор писал(а): Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится.. В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета? существует прога называется nfproxy писали наши программеры http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP. да точно, завтра узнаю чем принимали по тсп пакеты! |
|
| Автор: | tiffolk [ 08 апр 2009, 03:23 ] |
| Заголовок сообщения: | |
max писал(а): tiffolk писал(а): max писал(а): tiffolk писал(а): Администратор писал(а): Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится.. В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета? существует прога называется nfproxy писали наши программеры http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP. да точно, завтра узнаю чем принимали по тсп пакеты! Надо поставить тут карму) Я бы тебе плюсанул) |
|
| Автор: | max [ 08 апр 2009, 10:53 ] |
| Заголовок сообщения: | |
tiffolk писал(а): max писал(а): tiffolk писал(а): max писал(а): tiffolk писал(а): Администратор писал(а): Да, можно просто обработать повторно логи за эти же часы. Автоматизировать не получится.. В модуле IPN в стутасе источников можно сделать, чтобы при выделении потерянных часов и выборе Повторно Загрузить биллинг вызвал коллектор для повторного пересчета? существует прога называется nfproxy писали наши программеры http://v-lan.ru/projects/stargazer-2.4/ ... 1.6.tar.gz Отсылает по TCP, а netflow идет по UDP, чем вы там его принимаете? Коллекторы то слушают на UDP. да точно, завтра узнаю чем принимали по тсп пакеты! Надо поставить тут карму) Я бы тебе плюсанул) я вас не понял |
|
| Автор: | tiffolk [ 08 апр 2009, 16:03 ] |
| Заголовок сообщения: | |
отголоски Хабра. 
Жду ответа как узнаете чем принимали tcp пакеты ) |
|
| Автор: | max [ 08 апр 2009, 17:10 ] |
| Заголовок сообщения: | |
tiffolk писал(а): отголоски Хабра.
Жду ответа как узнаете чем принимали tcp пакеты ) узнал, поток принимал модифицированный коллектор от старого биллинга встроенный в ядро этого биллинга. сори. |
|
| Автор: | tiffolk [ 08 апр 2009, 17:44 ] |
| Заголовок сообщения: | |
Ничего страшного) Может кто знает, как с TCP порта переадресовать траффик на UDP порт? Те с преобразованием каким-то |
|
| Автор: | Jimson [ 08 апр 2009, 18:13 ] |
| Заголовок сообщения: | |
переадресовать не выйдет, с одной стороны протокол без подтверждения, с другой с подтверждением, а так на любом языке открываешь два сокета и перекидываешь данные, написать в простейшем варианте можно меньше чем за минуту на том же перле TCP->UDP делается без каких либо проверок, так как источник "медленней", а вот наоборот сделать гораздо сложнее, надо буферизовать данные выгребаемые из UDP |
|
| Автор: | max [ 09 апр 2009, 09:24 ] |
| Заголовок сообщения: | |
Jimson писал(а): TCP->UDP делается без каких либо проверок, так как источник "медленней", а вот наоборот сделать гораздо сложнее, надо буферизовать данные выгребаемые из UDP
но удп->тсп уже реализовано! |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|