Смотрю и не вижу в менеджере источников меню на загрузку логов источников, скрин ниже:
версия 5.0
| Вложения: |
|
.JPG [ 94.21 КБ | Просмотров: 6004 ] |
| forum.bitel.ru http://forum.bitel.ru/ |
|
| Исчезла загрузка логов http://forum.bitel.ru/viewtopic.php?f=7&t=3320 |
Страница 1 из 1 |
| Автор: | max [ 14 дек 2009, 12:56 ] | ||
| Заголовок сообщения: | Исчезла загрузка логов | ||
Смотрю и не вижу в менеджере источников меню на загрузку логов источников, скрин ниже: версия 5.0
|
|||
| Автор: | Amir [ 14 дек 2009, 14:20 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
А в ipn загрузки логов почти никогда и не было. Вернее загрузка логов в ipn подразумевает сохранение в лог файлы потока netflow (или подкладывание flow-tools логов). Потому нужна только обработка логов. |
|
| Автор: | max [ 14 дек 2009, 14:21 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
но раньше то было в меню про это написано, а сейчас это исчезло..... а если мне нада перезагрузить логи? |
|
| Автор: | Jimson [ 14 дек 2009, 14:42 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
перегрузка данных всегда делалась через "добавить в обработку" зачем нужно было "добавить в загрузку" не знает никто, я начал свое знакомство с версии 4.4 и там уже этот пункт меню не работал если логи не загружались через коллектор (isload, etc), то запихать их в БГБ через АРМ нельзя никак, надо идти и руками дергать загрузку каждого часового диапазона если же логи были загружены, то через "добавить в обработку" можно их заново перегрузить, файлы при этом могут и меняться P.S. я кстати, так и не понимаю в чем крамольность команды на первичную загрузку данных через АРМ |
|
| Автор: | Администратор [ 14 дек 2009, 19:30 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
Цитата: зачем нужно было "добавить в загрузку" не знает никто, я начал свое знакомство с версии 4.4 и там уже этот пункт меню не работал Когда-то давным-давно модуль IPN имел режим при котором логи грузились из текстовых файлов в БД Цитата: P.S. я кстати, так и не понимаю в чем крамольность команды на первичную загрузку данных через АРМ Куда их грузить - то? Они в файлах лежат.. А при переобработке аггрегированные данные в БД пишутся. |
|
| Автор: | Jimson [ 14 дек 2009, 20:13 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
Администратор писал(а): Куда их грузить - то? Они в файлах лежат.. А при переобработке аггрегированные данные в БД пишутся. мы уже обсуждали это как то  суть в том что если коллектор упал, ну или потерял конективити с БД, то после его подъема надо _руками_ через скрипт netflow.sh "затолкать" каждый часовой период в БД, иначе говоря сделать isload пока этого не сделаешь "добавить в загрузку" через АРМ не будет делать ничего подругому: если в менеджере источников квадрат "белый", то "добавить в загрузку" по этому квадрату не даст ничего, он будет висеть со статусом "в загрузке", хотя на самом деле у коллектора файлы за этот период есть, а вот БД про этот период ничего не знает |
|
| Автор: | Jimson [ 14 дек 2009, 21:49 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
кстати, только что вляпался обнаружил что на один из коллектором не приходит netflow с одного из NAS, а на резервный колектор приходит, поправил конфгурацию NAS, перекинул flow-tools файлы с резервного колектора на основной, сделал "добавить в обработку", коллектор обработал, данные не загрузил ну коллектор же всяко умнее меня, у него видать не совпали данные сохраненные в source_data_200912 с реальностью, так как пустые файлы я подменил нормальными, прийдется пихать ручками обновленные файлы: ./load_3.pl ft-v05.2009-12-01.00x ./load_3.pl ft-v05.2009-12-02.00x ./load_3.pl ft-v05.2009-12-03.00x и так 24 * 14 = 336 раз, for day in 01 02 03.... собственно вот это предлагалось сделать "добавить в загрузку" P.S. кстати, а вот у меня 4 файла в час flow-tools делает, size & modtime какого файла попадают в source_data ? грузятся же все 4 файла одной командой (упс, даже сомниваться начал) ? |
|
| Автор: | Администратор [ 19 янв 2010, 11:54 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
По порядку. "Добавление в загрузку" осталось от тех источников, логи которых грузятся по FTP либо из каталога жёсткого диска в таблицы БД и далее обрабатываются из БД же. Для модуля Phone это актуально до сих пор, для IPN обработка текстовых логов не актуальна (когда-то было и такое). Убрали, т.к. люди усиленно использовали этот пункт меню для повторной обработки NetFlow логов, чем не добивались ничего кроме как помещения вечно висящего задания на загрузку логов в таблицу task_load. Споткнулись на следующем: 1) Некоторые особо продвинутые пользователи написали скрипт, сканирующий эту таблицу и подгружающий логи коллектору с удалённой машины, если они почему-то не загрузились штатно. 2) Описанный Jimson случай, когда приходится подгружать множество логов командой isload. Цитата: P.S. кстати, а вот у меня 4 файла в час flow-tools делает, size & modtime какого файла попадают в source_data ? грузятся же все 4 файла одной командой (упс, даже сомниваться начал) ? Да там для таких логов просто пишутся фиксированные значения. Может быть сделать режим, когда по команде загрузки логов коллектор просканирует каталоги, проверит наличие логов и в случае их наличия пометит загруженными и добавит в обработку? |
|
| Автор: | snark [ 19 янв 2010, 16:17 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
Администратор писал(а): Может быть сделать режим, когда по команде загрузки логов коллектор просканирует каталоги, проверит наличие логов и в случае их наличия пометит загруженными и добавит в обработку? IMHO это и есть ожидаемое поведение коллектора при нажатии этой кнопки, нет? |
|
| Автор: | max [ 19 янв 2010, 21:21 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
думаю самое оно |
|
| Автор: | restart [ 30 мар 2010, 12:56 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
Сделано для версии 5.1 |
|
| Автор: | max [ 01 апр 2010, 10:04 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
спасибо! скажите а когда релиз 5.1? |
|
| Автор: | stark [ 02 апр 2010, 17:17 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
max писал(а): спасибо! скажите а когда релиз 5.1? пока планируем к концу апреля ..но может и после майских уже |
|
| Автор: | snark [ 02 апр 2010, 18:43 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
лучше после майских, а то вдруг что-то всплывет - чинить некому будет 
|
|
| Автор: | stark [ 05 апр 2010, 19:31 ] |
| Заголовок сообщения: | Re: Исчезла загрузка логов |
snark писал(а): лучше после майских, а то вдруг что-то всплывет - чинить некому будет Вас же никто не заставляет обновляться до майских |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|