BiTel

Смотрю и не вижу в менеджере источников меню на загрузку логов источников, скрин ниже:
версия 5.0

_________________
Интернет и телефония оптом со склада, или в розницу

А в ipn загрузки логов почти никогда и не было.
Вернее загрузка логов в ipn подразумевает сохранение в лог файлы потока netflow (или подкладывание flow-tools логов).
Потому нужна только обработка логов.

но раньше то было в меню про это написано, а сейчас это исчезло.....
а если мне нада перезагрузить логи?

_________________
Интернет и телефония оптом со склада, или в розницу

перегрузка данных всегда делалась через "добавить в обработку"
зачем нужно было "добавить в загрузку" не знает никто, я начал свое знакомство с версии 4.4 и там уже этот пункт меню не работал
если логи не загружались через коллектор (isload, etc), то запихать их в БГБ через АРМ нельзя никак, надо идти и руками дергать загрузку каждого часового диапазона
если же логи были загружены, то через "добавить в обработку" можно их заново перегрузить, файлы при этом могут и меняться

P.S. я кстати, так и не понимаю в чем крамольность команды на первичную загрузку данных через АРМ

Когда-то давным-давно модуль IPN имел режим при котором логи грузились из текстовых файлов в БД


Куда их грузить - то? Они в файлах лежат.. А при переобработке аггрегированные данные в БД пишутся.

мы уже обсуждали это как то
суть в том что если коллектор упал, ну или потерял конективити с БД, то после его подъема надо _руками_ через скрипт netflow.sh "затолкать" каждый часовой период в БД, иначе говоря сделать isload
пока этого не сделаешь "добавить в загрузку" через АРМ не будет делать ничего

подругому: если в менеджере источников квадрат "белый", то "добавить в загрузку" по этому квадрату не даст ничего, он будет висеть со статусом "в загрузке", хотя на самом деле у коллектора файлы за этот период есть, а вот БД про этот период ничего не знает

кстати, только что вляпался
обнаружил что на один из коллектором не приходит netflow с одного из NAS, а на резервный колектор приходит, поправил конфгурацию NAS, перекинул flow-tools файлы с резервного колектора на основной, сделал "добавить в обработку", коллектор обработал, данные не загрузил

ну коллектор же всяко умнее меня, у него видать не совпали данные сохраненные в source_data_200912 с реальностью, так как пустые файлы я подменил нормальными, прийдется пихать ручками обновленные файлы:
./load_3.pl ft-v05.2009-12-01.00x
./load_3.pl ft-v05.2009-12-02.00x
./load_3.pl ft-v05.2009-12-03.00x
и так 24 * 14 = 336 раз, for day in 01 02 03....

собственно вот это предлагалось сделать "добавить в загрузку"

P.S. кстати, а вот у меня 4 файла в час flow-tools делает, size & modtime какого файла попадают в source_data ? грузятся же все 4 файла одной командой (упс, даже сомниваться начал) ?

По порядку.

"Добавление в загрузку" осталось от тех источников, логи которых грузятся по FTP либо из каталога жёсткого диска в таблицы БД и далее обрабатываются из БД же. Для модуля Phone это актуально до сих пор, для IPN обработка текстовых логов не актуальна (когда-то было и такое).

Убрали, т.к. люди усиленно использовали этот пункт меню для повторной обработки NetFlow логов, чем не добивались ничего кроме как помещения вечно висящего задания на загрузку логов в таблицу task_load.

Споткнулись на следующем:
1) Некоторые особо продвинутые пользователи написали скрипт, сканирующий эту таблицу и подгружающий логи коллектору с удалённой машины, если они почему-то не загрузились штатно.
2) Описанный Jimson случай, когда приходится подгружать множество логов командой isload.


Да там для таких логов просто пишутся фиксированные значения.

Может быть сделать режим, когда по команде загрузки логов коллектор просканирует каталоги, проверит наличие логов и в случае их наличия пометит загруженными и добавит в обработку?

IMHO это и есть ожидаемое поведение коллектора при нажатии этой кнопки, нет?

думаю самое оно

_________________
Интернет и телефония оптом со склада, или в розницу

Сделано для версии 5.1

спасибо!
скажите а когда релиз 5.1?

_________________
Интернет и телефония оптом со склада, или в розницу

пока планируем к концу апреля ..но может и после майских уже