BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 29 мар 2024, 00:56

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 7 ] 
Автор Сообщение
СообщениеДобавлено: 01 июл 2019, 16:37 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
на версии 6.0. dataloader работал. после обновления на 7.0 - не работает в автоматичееском режиме.

в ручном режиме зайдя в модуль -> менеджер источников вызвав загрузку логов вручную я без ошибок подгружаю необходимые данные.
но они не грузятся в автоматическом режиме("квадратик" должен появляться каждый час и поступающие данные разноситься на абонентов).
сам демон болтается в процессах. ошибок в логи он не сыпет.
конфигурация после обновления не менялась.
но на всякий случай, для логов перезапустил все java процессы, для исключения глупых ситуаций вроде работы старого не убитого процесса.

не понимаю куда посмотреть, так как ошибок в логах нет. вот вывод статуса, там видно, что с момента запуска процесса прошло больше часа, а данные не загружены. можно было бы подумать, что их и не было вот и не загружены, поэтому следующий вывод - после ручной загрузки логов через вкладку менеджера источниклов:

Код:
bash-4.1# ./data_loader_status.sh
Sending 'status' on 127.0.0.1:9033
Result: DataLoader working
Started: 01.07.2019 13:08:35   Uptime: 0 d 01:13:57
Memory total: 249 561 088; max: 477 626 368; free: 211 009 848
Memory pools:
  Non-heap memory[Code Cache]: max: 251 658 240; used: 6 539 712; peek: 6 545 920
  Non-heap memory[Metaspace]: max: -1; used: 19 369 032; peek: 19 369 032
  Non-heap memory[Compressed Class Space]: max: 1 073 741 824; used: 2 387 968; peek: 2 387 968
  Heap memory[PS Eden Space]: max: 157 810 688; used: 30 914 488; peek: 65 536 000
  Heap memory[PS Survivor Space]: max: 10 485 760; used: 6 510 816; peek: 10 484 864
  Heap memory[PS Old Gen]: max: 358 088 704; used: 1 125 936; peek: 1 125 936
Buffer pools:
  [direct]: count: 115; memoryUsed: 957
  [mapped]: count: 0; memoryUsed: 0
Thread count: 16
Trees in cache: 0
Hour logs loaded : 0; processed: 0
Connections pool to Master status Idle: 0; Active: 1; maxActive: 300; maxIdle: 20


это после загрузки вручную -

Код:
bash-4.1# ./data_loader_status.sh
Sending 'status' on 127.0.0.1:9033
Result: DataLoader working
Started: 01.07.2019 13:08:35   Uptime: 0 d 01:28:19
Memory total: 279 969 792; max: 477 626 368; free: 60 925 904
Memory pools:
  Non-heap memory[Code Cache]: max: 251 658 240; used: 8 799 936; peek: 9 131 456
  Non-heap memory[Metaspace]: max: -1; used: 22 356 880; peek: 22 356 880
  Non-heap memory[Compressed Class Space]: max: 1 073 741 824; used: 2 739 616; peek: 2 739 616
  Heap memory[PS Eden Space]: max: 120 586 240; used: 116 511 048; peek: 116 511 048
  Heap memory[PS Survivor Space]: max: 29 884 416; used: 14 147 024; peek: 14 147 024
  Heap memory[PS Old Gen]: max: 358 088 704; used: 88 385 816; peek: 88 385 816
Buffer pools:
  [direct]: count: 4; memoryUsed: 341
  [mapped]: count: 0; memoryUsed: 0
Thread count: 21
Trees in cache: 0
Hour logs loaded : 1; processed: 1
Connections pool to Master status Idle: 3; Active: 1; maxActive: 300; maxIdle: 20


куда копать?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 01 июл 2019, 20:32 
Не в сети
Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4489
Откуда: Уфа, Россия
Карма: 186
попробуйте debug включить
Код:
data_loader.sh debug


или в data/log4j.xml добавить

Код:
<category name="dataloader" additivity="false">
    <priority value="DEBUG"/>
    <appender-ref ref="APPLICATION"/>
</category>


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 02 июл 2019, 14:14 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
дебаг лог работает так, как будто источники данных не настроены или задачи нет в очереди..

Код:
07-02/12:00:53 DEBUG [Thread-0] dataloader -
looking tasks for process...
07-02/12:00:57 DEBUG [Thread-0] dataloader - Looking tasks for load...
07-02/12:00:57 DEBUG [Thread-0] dataloader -
Looking active loaders [0]...
07-02/12:00:57 DEBUG [Thread-0] dataloader -
looking tasks for process...
07-02/12:01:01 DEBUG [Thread-0] dataloader - Looking tasks for load...
07-02/12:01:01 DEBUG [Thread-0] dataloader -
Looking active loaders [0]...
07-02/12:01:01 DEBUG [Thread-0] dataloader -
looking tasks for process...
07-02/12:01:05 DEBUG [Thread-0] dataloader - Looking tasks for load...
07-02/12:01:05 DEBUG [Thread-0] dataloader -
Looking active loaders [0]...
07-02/12:01:05 DEBUG [Thread-0] dataloader -
looking tasks for process...
07-02/12:01:09 DEBUG [Thread-0] dataloader - Looking tasks for load...
07-02/12:01:09 DEBUG [Thread-0] dataloader -



Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 02 июл 2019, 15:36 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 27 мар 2012, 11:59
Сообщения: 2676
Карма: 72
а у вас при конвертировании задач ошибок не было?
И если планировщик открыть там есть задачи вообще?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 02 июл 2019, 15:41 
Не в сети
Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4489
Откуда: Уфа, Россия
Карма: 186
load.interval= - параметер в data.properties есть?

запрос
SELECT task_load.id, dt, param FROM task_load
INNER JOIN source ON task_load.param=source.id AND source.source_type IN (1, 2)
WHERE le < date_sub( now(), interval ? hour ) AND count>0

что выдает?

и еще из доки

2. Раз в час задача Генератор заданий на загрузку, запускаемая планировщиком, создаёт задание на загрузку очередного часового лога для всех источников FTP, либо Сетевая папка. Запуск задачи необходимо настроить в Планировщике заданий на 15 минут каждого часа. Вполне возможно, что к этому моменту логи ещё не будут добавлены, тогда загрузчик будет пытаться загрузить недостающие логи в течении 3х суток. Этот метод подходит для режима, когда логи подготавливает отдельный специалист, не связанный с биллингом.

у вас задача добавления есть, она работает, планировщик запущен(не завис)?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 02 июл 2019, 19:17 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
проблема решена. оказывается она была в 6.0., а не 7.0. :)))

в 6.0. в планировщике не было задачи на загрузку логов, но она создавалась чем-то. я думал так и надо.
соответственно после переезда всё сломалось.

добавил задачу в планировщик и всё пошло.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 02 июл 2019, 21:08 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
она создавалась конвертером скорее всего из скрипта там команда есть специальная добавить задачу

_________________
I'm clever. I've got a computer.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.072s | 32 Queries | GZIP : On ]