проблема решена. оказывается она была в 6.0., а не 7.0.
))в 6.0. в планировщике не было задачи на загрузку логов, но она создавалась чем-то. я думал так и надо.
соответственно после переезда всё сломалось.
добавил задачу в планировщик и всё пошло.
| forum.bitel.ru http://forum.bitel.ru/ |
|
| после обновления dataloader не работает. http://forum.bitel.ru/viewtopic.php?f=10&t=13384 |
Страница 1 из 1 |
| Автор: | Galkov [ 01 июл 2019, 16:37 ] |
| Заголовок сообщения: | после обновления dataloader не работает. |
на версии 6.0. dataloader работал. после обновления на 7.0 - не работает в автоматичееском режиме. в ручном режиме зайдя в модуль -> менеджер источников вызвав загрузку логов вручную я без ошибок подгружаю необходимые данные. но они не грузятся в автоматическом режиме("квадратик" должен появляться каждый час и поступающие данные разноситься на абонентов). сам демон болтается в процессах. ошибок в логи он не сыпет. конфигурация после обновления не менялась. но на всякий случай, для логов перезапустил все java процессы, для исключения глупых ситуаций вроде работы старого не убитого процесса. не понимаю куда посмотреть, так как ошибок в логах нет. вот вывод статуса, там видно, что с момента запуска процесса прошло больше часа, а данные не загружены. можно было бы подумать, что их и не было вот и не загружены, поэтому следующий вывод - после ручной загрузки логов через вкладку менеджера источниклов: Код: bash-4.1# ./data_loader_status.sh Sending 'status' on 127.0.0.1:9033 Result: DataLoader working Started: 01.07.2019 13:08:35 Uptime: 0 d 01:13:57 Memory total: 249 561 088; max: 477 626 368; free: 211 009 848 Memory pools: Non-heap memory[Code Cache]: max: 251 658 240; used: 6 539 712; peek: 6 545 920 Non-heap memory[Metaspace]: max: -1; used: 19 369 032; peek: 19 369 032 Non-heap memory[Compressed Class Space]: max: 1 073 741 824; used: 2 387 968; peek: 2 387 968 Heap memory[PS Eden Space]: max: 157 810 688; used: 30 914 488; peek: 65 536 000 Heap memory[PS Survivor Space]: max: 10 485 760; used: 6 510 816; peek: 10 484 864 Heap memory[PS Old Gen]: max: 358 088 704; used: 1 125 936; peek: 1 125 936 Buffer pools: [direct]: count: 115; memoryUsed: 957 [mapped]: count: 0; memoryUsed: 0 Thread count: 16 Trees in cache: 0 Hour logs loaded : 0; processed: 0 Connections pool to Master status Idle: 0; Active: 1; maxActive: 300; maxIdle: 20 это после загрузки вручную - Код: bash-4.1# ./data_loader_status.sh Sending 'status' on 127.0.0.1:9033 Result: DataLoader working Started: 01.07.2019 13:08:35 Uptime: 0 d 01:28:19 Memory total: 279 969 792; max: 477 626 368; free: 60 925 904 Memory pools: Non-heap memory[Code Cache]: max: 251 658 240; used: 8 799 936; peek: 9 131 456 Non-heap memory[Metaspace]: max: -1; used: 22 356 880; peek: 22 356 880 Non-heap memory[Compressed Class Space]: max: 1 073 741 824; used: 2 739 616; peek: 2 739 616 Heap memory[PS Eden Space]: max: 120 586 240; used: 116 511 048; peek: 116 511 048 Heap memory[PS Survivor Space]: max: 29 884 416; used: 14 147 024; peek: 14 147 024 Heap memory[PS Old Gen]: max: 358 088 704; used: 88 385 816; peek: 88 385 816 Buffer pools: [direct]: count: 4; memoryUsed: 341 [mapped]: count: 0; memoryUsed: 0 Thread count: 21 Trees in cache: 0 Hour logs loaded : 1; processed: 1 Connections pool to Master status Idle: 3; Active: 1; maxActive: 300; maxIdle: 20 куда копать? |
|
| Автор: | skn [ 01 июл 2019, 20:32 ] |
| Заголовок сообщения: | Re: после обновления dataloader не работает. |
попробуйте debug включить Код: data_loader.sh debug или в data/log4j.xml добавить Код: <category name="dataloader" additivity="false">
<priority value="DEBUG"/> <appender-ref ref="APPLICATION"/> </category> |
|
| Автор: | Galkov [ 02 июл 2019, 14:14 ] |
| Заголовок сообщения: | Re: после обновления dataloader не работает. |
дебаг лог работает так, как будто источники данных не настроены или задачи нет в очереди.. Код: 07-02/12:00:53 DEBUG [Thread-0] dataloader -
looking tasks for process... 07-02/12:00:57 DEBUG [Thread-0] dataloader - Looking tasks for load... 07-02/12:00:57 DEBUG [Thread-0] dataloader - Looking active loaders [0]... 07-02/12:00:57 DEBUG [Thread-0] dataloader - looking tasks for process... 07-02/12:01:01 DEBUG [Thread-0] dataloader - Looking tasks for load... 07-02/12:01:01 DEBUG [Thread-0] dataloader - Looking active loaders [0]... 07-02/12:01:01 DEBUG [Thread-0] dataloader - looking tasks for process... 07-02/12:01:05 DEBUG [Thread-0] dataloader - Looking tasks for load... 07-02/12:01:05 DEBUG [Thread-0] dataloader - Looking active loaders [0]... 07-02/12:01:05 DEBUG [Thread-0] dataloader - looking tasks for process... 07-02/12:01:09 DEBUG [Thread-0] dataloader - Looking tasks for load... 07-02/12:01:09 DEBUG [Thread-0] dataloader - |
|
| Автор: | zavndw [ 02 июл 2019, 15:36 ] |
| Заголовок сообщения: | Re: после обновления dataloader не работает. |
а у вас при конвертировании задач ошибок не было? И если планировщик открыть там есть задачи вообще? |
|
| Автор: | skn [ 02 июл 2019, 15:41 ] |
| Заголовок сообщения: | Re: после обновления dataloader не работает. |
load.interval= - параметер в data.properties есть? запрос SELECT task_load.id, dt, param FROM task_load INNER JOIN source ON task_load.param=source.id AND source.source_type IN (1, 2) WHERE le < date_sub( now(), interval ? hour ) AND count>0 что выдает? и еще из доки 2. Раз в час задача Генератор заданий на загрузку, запускаемая планировщиком, создаёт задание на загрузку очередного часового лога для всех источников FTP, либо Сетевая папка. Запуск задачи необходимо настроить в Планировщике заданий на 15 минут каждого часа. Вполне возможно, что к этому моменту логи ещё не будут добавлены, тогда загрузчик будет пытаться загрузить недостающие логи в течении 3х суток. Этот метод подходит для режима, когда логи подготавливает отдельный специалист, не связанный с биллингом. у вас задача добавления есть, она работает, планировщик запущен(не завис)? |
|
| Автор: | Galkov [ 02 июл 2019, 19:17 ] |
| Заголовок сообщения: | Re: после обновления dataloader не работает. |
проблема решена. оказывается она была в 6.0., а не 7.0. ))в 6.0. в планировщике не было задачи на загрузку логов, но она создавалась чем-то. я думал так и надо. соответственно после переезда всё сломалось. добавил задачу в планировщик и всё пошло. |
|
| Автор: | dimOn [ 02 июл 2019, 21:08 ] |
| Заголовок сообщения: | Re: после обновления dataloader не работает. |
она создавалась конвертером скорее всего из скрипта там команда есть специальная добавить задачу |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|