forum.bitel.ru
http://forum.bitel.ru/

Data Loader виснет при обработке
http://forum.bitel.ru/viewtopic.php?f=22&t=4685
Страница 1 из 2

Автор:  Lexw [ 20 окт 2010, 12:17 ]
Заголовок сообщения:  Data Loader виснет при обработке

Код:
BGBilling Server
 кому: мне
   
Показать подробные сведения 12:18 (0 мин. назад)
   
ID события: system.no.memory
Время регистрации события: 20.10.2010 12:18:43

Приложению недостаточно выделенной для него памяти!
Зарезервировано 518979584 из 518979584 (максимум) байтов памяти.
Сейчас свободно: 91055104 байтов.

Необходимо выделить большее количество памяти приложению.



логи подружает нормально
но как только я добавляю в обработку, он обрабатывает два дня, затем выдает такую ошибку и виснет.
увеличил память с 256 до 512 - тоже самое.

Автор:  Lexw [ 20 окт 2010, 12:25 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

всего на серваке памяти 2гб.
win2008r2

раньше я поднимал 5.0 на своем ноутбуке (3гб оперативы) и тестировал (win7).
все было ок.

5.1 на семерке не тестировал, сейчас попробую.

Автор:  Lexw [ 20 окт 2010, 12:47 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

запустил батник
data_loader.bat -estart

тоже самое

Автор:  stark [ 20 окт 2010, 13:00 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Попробуйте добавлять не сразу все , а частями

Автор:  Lexw [ 20 окт 2010, 13:03 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

может тут что то есть

Вложения:
dataloaderout.txt [142.59 КБ]
Скачиваний: 493

Автор:  Lexw [ 20 окт 2010, 13:08 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

stark писал(а):
Попробуйте добавлять не сразу все , а частями

такое ощущение, что загрузчик не высвобаждает память.
два дня обрабатывает (хоть сразу, хоть поочереди) и снова виснет с ошибкой

Автор:  stark [ 20 окт 2010, 13:16 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

ну есть
Код:
Exception in thread "Thread-0" 20.10.2010 12:59:41 java.lang.OutOfMemoryError: Java heap space

Памяти не хватило и он упал ..

А вот этому поводу
Код:
20.10.2010 12:59:40 bitel.billing.common.BGException: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'bgbilling.phone_cost_map_item_1' doesn't exist

20.10.2010 12:59:40    at ru.bitel.bgbilling.kernel.base.phone.server.bean.CostMapManager.getTree(CostMapManager.java:187)

20.10.2010 12:59:40    at ru.bitel.bgbilling.kernel.base.phone.server.CostMapCache.<init>(CostMapCache.java:67)

20.10.2010 12:59:40    at ru.bitel.bgbilling.kernel.base.phone.server.CostMapCache.getInstance(CostMapCache.java:52)

20.10.2010 12:59:40    at ru.bitel.bgbilling.kernel.base.phone.tariff.server.AbstractPhoneTariffContext.<init>(AbstractPhoneTariffContext.java:48)

20.10.2010 12:59:40    at ru.bitel.bgbilling.modules.phone.tariff.server.PhoneTariffContext.<init>(PhoneTariffContext.java:23)

20.10.2010 12:59:40    at ru.bitel.bgbilling.modules.phone.server.TariffConveyor.<init>(TariffConveyor.java:61)

20.10.2010 12:59:40    at ru.bitel.bgbilling.modules.phone.server.DataProcess.proccessImpl(DataProcess.java:266)

20.10.2010 12:59:40    at ru.bitel.bgbilling.modules.phone.server.DataProcess.proccess(DataProcess.java:137)

20.10.2010 12:59:40    at bitel.billing.server.DataLoader.processData(DataLoader.java:452)

20.10.2010 12:59:40    at bitel.billing.server.DataLoader.run(DataLoader.java:221)

сделайте так

Код:
bg_installer.bat killhash m1


где 1 - код модуля телефония. Я так понимаю он у вас 1 . Если это не так, то это уже другой вопрос. На этом остановитесь.


Потом скачайте модуль свежий phone с сайта и установите его с "!" в конце.

Код:
bg_installer.bat phone_5.1_199.zip!

(возможно он уже поменялся , 199 - это текущий.

Если будет что-то подозрительное при выводе результата, то покажите сюда

Автор:  Lexw [ 20 окт 2010, 13:25 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Код:
Module phone was successfull installed!


модуль встал..

загрузчик все равно виснет....

сколько ему памяти надо?

Автор:  Lexw [ 20 окт 2010, 13:28 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Вложение:
dataloaderout2.txt [142.68 КБ]
Скачиваний: 494

вот новый

Автор:  Lexw [ 20 окт 2010, 13:41 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Код:
Table 'phone_client_item_1' already exists
Table 'phone_dest_1' already exists
Table 'phone_item_number_1' already exists
Table 'phone_item_port_1' already exists
Table 'time_range_1' already exists
Table 'number_resource_1' already exists
Table 'number_resource_category_1' already exists
Table 'number_resource_use_1' already exists
Table 'time_range_1' already exists
Duplicate column name 'alias'
Duplicate column name 'start_level'
Duplicate column name 'end_level'
Table 'number_resource_1' already exists
Table 'number_resource_category_1' already exists
Table 'number_resource_use_1' already exists
Table 'phone_item_rule_data_1' already exists
Unknown column 'item.oper_fromports' in 'field list'
Table 'bgbilling._phone_rule_data' doesn't exist
Unknown table '_phone_rule_data'
Table 'phone_cost_map_1' already exists
Incorrect table name 'phone_cost_map_item_1 (
  '
Table 'phone_gate_1' already exists
Table 'phone_gate_type_1' already exists
Table 'phone_contract_status_1' already exists
Table 'phone_contract_status_log_1' already exists
Table 'phone_contract_gate_1' already exists
Table 'bgbilling.phone_cost_map_item_1' doesn't exist
Table 'bgbilling.phone_cost_map_item_1' doesn't exist
Table 'bgbilling.phone_cost_map_item_1' doesn't exist
Table 'bgbilling.phone_cost_map_item_1' doesn't exist
Table 'bgbilling.phone_cost_map_item_1' doesn't exist
Table 'phone_item_ip_1' already exists
Module Instance init => OK
Executing call AddSchedulerTasks; param: phone.sc
Scheduled class bitel.billing.server.phone.BalanceSetter already exists!
Result => true
Executing call PutFile; param: phone.xml:actions
Result => true
Execute calls => OK
File's copy finished...
File copy => OK
Module phone was successfull installed!
Please, restart BGBilling server.

Автор:  Lexw [ 20 окт 2010, 14:12 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

сейчас попробую версию ява поставить другую...

Автор:  Lexw [ 20 окт 2010, 14:39 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

поставил 6_17, на которой раньше все работало.
ситуация та же самая.
попробую поднять все заново на буке, на win7

Автор:  Lexw [ 20 окт 2010, 14:53 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

а как можно это дело в платную поддержку направить? )

Автор:  vdd [ 20 окт 2010, 16:05 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Аналогичная ситуация. Попробуем установить 199 билд phone вместо 197

Автор:  vdd [ 20 окт 2010, 16:23 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Не помогло. На ручные команды "загрузить", "обработать" никакой реакции в логах.
Код:
10-20/14:25:17  INFO [main] DefaultServerSetup - Binding javax.jms.ConnectionFactory[org.apache.activemq.ActiveMQConnectionFactory@15aaf0b3] to j
ava:comp/env/mq/connectionFactory
10-20/14:25:17  INFO [main] DefaultServerSetup - Init DB connection pools
10-20/14:25:17  INFO [main] DefaultServerSetup - Binding JDBC pool "master" to java:comp/env/jdbc/master
10-20/14:25:17  INFO [main] DefaultServerSetup - Init trash pools..
10-20/14:25:17  INFO [Thread-0] dataloader - DataLoader => start()
10-20/14:25:18  INFO [Thread-0] Setup - Load config for mid=2
10-20/14:25:18  INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=false
10-20/14:25:18  INFO [Thread-0] dataloader - Create new traffic cache
10-20/14:25:20  INFO [Thread-0] dataloader - Create new month item finder...
10-20/14:25:20  INFO [Thread-0] dataloader - Create new item finder...
10-20/14:25:20  INFO [Thread-0] dataloader - Item loaded By num: 2866; by port: 0; rules: 64
10-20/14:25:20  INFO [Thread-0] CostMapCache - (Re)loading costMap cache and geo codes for mid 2


и все

Автор:  vdd [ 20 окт 2010, 16:26 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Если перестартовать даталоадер, то он отрабатывает старые команды на загрузку, но обсчета попрежнему нет.

Автор:  Администратор [ 20 окт 2010, 16:59 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Обновление выложено. Проблема с таблицей должна решиться.

Автор:  vdd [ 20 окт 2010, 17:22 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Обсчитывает только при первом запуске даталоадера после апдейта модуля phone. Или что-то еще надо было апрейтить?

Автор:  Lexw [ 20 окт 2010, 17:22 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Администратор писал(а):
Обновление выложено. Проблема с таблицей должна решиться.

обновил
Сервер вер 5.1 сборка 514 от 20.10.2010 13:02:16

даталоадер все равно виснет :(

Автор:  Администратор [ 20 окт 2010, 17:24 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

На отсутствие таблицы перестало ругаться?

Автор:  Lexw [ 20 окт 2010, 17:28 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Администратор писал(а):
На отсутствие таблицы перестало ругаться?

да
Цитата:
Module: phone already installed.
Data extract finished...
Extract data => OK
Database updated...
Install ticket inserted..
Base update => OK
Reinit module instanses
REINIT module => 1
Module Instance init => OK
Executing call AddSchedulerTasks; param: phone.sc
Scheduled class bitel.billing.server.phone.BalanceSetter already exists!
Result => true
Executing call PutFile; param: phone.xml:actions
Result => true
Execute calls => OK
File's copy finished...
File copy => OK
Module phone was successfull installed!
Please, restart BGBilling server.


но лоадер то виснет (((
могу RDP дать

Автор:  vdd [ 20 окт 2010, 17:29 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

А у нас на отсутсвие таблицы и не ругалось.
Код:
Table 'phone_cost_map_item_2' already exists

Автор:  Lexw [ 20 окт 2010, 17:31 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

vdd писал(а):
Обсчитывает только при первом запуске даталоадера после апдейта модуля phone. Или что-то еще надо было апрейтить?

всмысле он тоже виснет? или как?

Автор:  vdd [ 20 окт 2010, 17:34 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Lexw писал(а):
vdd писал(а):
Обсчитывает только при первом запуске даталоадера после апдейта модуля phone. Или что-то еще надо было апрейтить?

всмысле он тоже виснет? или как?


Я не знаю, как определить висит он или нет.
На команды "загрузить", "обсчитать" не реагирует.
Выполнили bg_installer update, зацепилась 201 версия phone - тоже самое.

Автор:  Администратор [ 20 окт 2010, 17:35 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Lexw - кидайте в личку RDP и пишите что и в каком порядке жать, чтобы повисло.
vdd - поднимите отдельную тему.

Автор:  Lexw [ 20 окт 2010, 17:36 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

vdd писал(а):
Lexw писал(а):
vdd писал(а):
Обсчитывает только при первом запуске даталоадера после апдейта модуля phone. Или что-то еще надо было апрейтить?

всмысле он тоже виснет? или как?


Я не знаю, как определить висит он или нет.
На команды "загрузить", "обсчитать" не реагирует.


приведите ваш dataloader.ini
в соседней ветке про 2008 тема обсуждалась.

Автор:  vdd [ 20 окт 2010, 17:37 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Администратор писал(а):
Lexw - кидайте в личку RDP и пишите что и в каком порядке жать, чтобы повисло.
vdd - поднимите отдельную тему.


Так все симптоматы то те же самые.

У нас даже платформы одинаково 64битные. Только ОС отличаются.

Автор:  Администратор [ 20 окт 2010, 17:41 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

Цитата:
У нас даже платформы одинаково 64битные. Только ОС отличаются.

Ну тогда понаблюдайте просто пока, а то запутался.

Автор:  Lexw [ 20 окт 2010, 17:54 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

vdd писал(а):
Администратор писал(а):
Lexw - кидайте в личку RDP и пишите что и в каком порядке жать, чтобы повисло.
vdd - поднимите отдельную тему.


Так все симптоматы то те же самые.

У нас даже платформы одинаково 64битные. Только ОС отличаются.

у меня даталоадер тоже не стартовал, пока в data_loader.ini не поправил
Цитата:
params=7

и в строчке

Код:
param01 = -Dfile.encoding=Cp1251 

"С" русскую не поменял на "С" английскую.

у меня он начинает обрабатывать и виснет, а у тебя даж не обрабатывает, симптомы разные ))

Автор:  Lexw [ 21 окт 2010, 11:38 ]
Заголовок сообщения:  Re: Data Loader виснет при обработке

хех
поднял все тож самое на вин7.
ява 6_18
работает, едрить-колотить.

на win2008R2 так и не работает. виснет
с любой версией явы. РДП доступ дал. В личку кинул параметры.

Страница 1 из 2 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/