forum.bitel.ru
http://forum.bitel.ru/

Не обрабатывается файл вызовов виснет загрузчик (CRM)
http://forum.bitel.ru/viewtopic.php?f=10&t=11389
Страница 1 из 1

Автор:  Andrey1981 [ 29 фев 2016, 14:30 ]
Заголовок сообщения:  Не обрабатывается файл вызовов виснет загрузчик

Когда включаю загрузку файлов вызовов некоторые файлы не загружаются и dataloader зависает и перестаёт работать.
вывести его из зависания помогает только его рестарт.

Логи прилагаю.
Подскажите пожалуйста в чём может быть проблема.
Вложение:
dataloader.error.log [9.56 КБ]
Скачиваний: 634


Вложения:
dataloader.mq.log [11.83 КБ]
Скачиваний: 604
dataloader.log [11.6 КБ]
Скачиваний: 653

Автор:  Andrey1981 [ 01 мар 2016, 15:51 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

Путём экспериментов установил что загрузчику не нравятся текстовые файлы звонков превышающие 1100 записей (примерно). Взял тот файл что не загружался и уменьшил количество записей с 1250 до 1100 файл загрузился но на этапе обработки файла даталоадер подвис. Взял загрузил этот же фал но отрезал фал до 1060 записей в файле.
Файл успешно загрузился и обработался.

Автор:  Andrey1981 [ 01 мар 2016, 15:52 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

Так же игрался с выделяемой паматью даталоадера. Ставил 1024 результат тот же загрузчик зависает.

Автор:  dimOn [ 01 мар 2016, 16:03 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

вряд ли зависит от кол-ва строк, просто вы выкинули какие-то из записей, которые он не мог переварить

Автор:  dimOn [ 01 мар 2016, 16:04 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

версии из about?

Автор:  Andrey1981 [ 01 мар 2016, 16:09 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

dimOn писал(а):
версии из about?


не понял вопрос

Автор:  dimOn [ 01 мар 2016, 16:12 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

Версии нужны бы. Вы даже мажорную версию не указали. Но вообще весь текст из about всегда желательно.

Автор:  Phricker [ 01 мар 2016, 16:12 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

Похожая ситуация, в соседней теме.

Автор:  dimOn [ 01 мар 2016, 16:14 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

Phricker писал(а):
Похожая ситуация, в соседней теме.

Ну я начал ошибки разглядывать сначала из лога. Но похоже они не причина "зависания", хотя тоже надо бы поправить.

Автор:  Andrey1981 [ 01 мар 2016, 16:23 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

dimOn писал(а):
Версии нужны бы. Вы даже мажорную версию не указали. Но вообще весь текст из about всегда желательно.

Имеется в виду о программе из клиента?

Информация о версии:

Клиент: вер. 6.2.756 / 23.09.2015 17:49:41
os: Windows 7; java: Java HotSpot(TM) Client VM, v.1.8.0_40
Сервер: вер. 6.2.955 / 28.09.2015 18:13:53
os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_60

bill: вер. 6.2.74 / 08.02.2016 14:55:49
card: вер. 6.2.28 / 23.09.2015 17:51:43
inet: вер. 6.2.576 / 23.09.2015 17:51:32
phone: вер. 6.2.240 / 28.09.2015 18:10:36
reports: вер. 6.2.191 / 28.09.2015 18:10:39

Окружение:

Клиент:
os: Windows 7 x86, 6.1
java: Java HotSpot(TM) Client VM, v.1.8.0_40
jre home: C:\Program Files (x86)\Java\jre1.8.0_40
default tz: 01.03.2016 17:22 KRAT +0700 (Asia/Krasnoyarsk)
user tz: 01.03.2016 17:22 KRAT +0700 (Asia/Krasnoyarsk)
locale: ru_RU
Сервер:
os: Linux amd64, 3.16.0-4-amd64
java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_60
jre home: /usr/lib/jvm/java-8-oracle/jre
default tz: 01.03.2016 17:22 KRAT +0700 (Asia/Krasnoyarsk)
db time: 2016-03-01 17:22:30.0
locale: ru_RU

Третьи стороны:

Fugue Icons. Copyright © 2011 Yusuke Kamiyamane. All rights reserved.
http://p.yusukekamiyamane.com/
Silk icon set. Copyright © Mark James. All rights reserved.
http://www.famfamfam.com/lab/icons/silk/

Автор:  Andrey1981 [ 01 мар 2016, 16:28 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик

Phricker писал(а):
Похожая ситуация, в соседней теме.

так в соседней ветке от разработчиков нет ни одного совета по решению проблемы.

Автор:  stark [ 01 мар 2016, 17:49 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

Запустите логирование в режиме Debug, запустите заново и покажите снова логи DataLoader.

Автор:  Andrey1981 [ 02 мар 2016, 10:15 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

stark писал(а):
Запустите логирование в режиме Debug, запустите заново и покажите снова логи DataLoader.


Для примера там есть успешный час и не успешный час. Не успешно обрабатывается файл 25_14 за февраль.

Вложения:
dataloader.script.log [957.73 КБ]
Скачиваний: 608
dataloader.mq.log [961.9 КБ]
Скачиваний: 630
dataloader.log [957.73 КБ]
Скачиваний: 616

Автор:  stark [ 02 мар 2016, 18:02 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

У вас падает на тарификации какой-то записи. Видимо что-то там поломалось в тарифе или в еще в чем-то. Из-за этого валится весь процесс тарификации.
Выложили обновление, теперь не будет падать весь процесс, просто будет ошибка в логах.
И еще там побольше информации в логе будет выводить, чтобы можно было легче найти запись на какой упало. Обновитесь.

Автор:  stark [ 02 мар 2016, 18:10 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

проблема у вас там с договором с Id = 61, point c id = 87, звонок 41 секунду длинной. Все что могу пока сказать по логам.

Автор:  Andrey1981 [ 03 мар 2016, 09:54 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

stark писал(а):
проблема у вас там с договором с Id = 61, point c id = 87, звонок 41 секунду длинной. Все что могу пока сказать по логам.


Подскажите, какие есть ограничения на количество номеров в одном пойнте.
У меня в этом договоре был один пойнт на 400 номеров. Видимо слишком большая строчка получилась?

Автор:  stark [ 03 мар 2016, 10:47 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

Andrey1981 писал(а):
stark писал(а):
проблема у вас там с договором с Id = 61, point c id = 87, звонок 41 секунду длинной. Все что могу пока сказать по логам.


Подскажите, какие есть ограничения на количество номеров в одном пойнте.
У меня в этом договоре был один пойнт на 400 номеров. Видимо слишком большая строчка получилась?


По идее не должно, они хранятся отдлеьными строками в phone_item_number_{mid}.
Если сократить длину строки, то работает ? Мне больше кажется что там дело в тарифе. Тариф бы посмотреть.

Автор:  Andrey1981 [ 03 мар 2016, 11:02 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

.

Автор:  Andrey1981 [ 03 мар 2016, 11:03 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

Не не помогло всё равно виснет.
А какой тариф посмотреть?

Автор:  Andrey1981 [ 03 мар 2016, 11:07 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

вот логи
https://yadi.sk/i/pzdmvuv8psHQD

Автор:  stark [ 03 мар 2016, 11:17 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

а вы точно обновились ? покажите статус dataloader . Вы его останавдивали перед обновлением. Попробуйте остановить, убедитесь на самом деле что процесс прлпал и убейте его руками если это не так. А потом запустите заново и попробуйте.

Автор:  Andrey1981 [ 03 мар 2016, 11:27 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

stark писал(а):
а вы точно обновились ? покажите статус dataloader . Вы его останавдивали перед обновлением. Попробуйте остановить, убедитесь на самом деле что процесс прлпал и убейте его руками если это не так. А потом запустите заново и попробуйте.


А что обновить? загрузчик или весь биллинг и где брать файлы обновлений?

Автор:  Andrey1981 [ 03 мар 2016, 11:38 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

root@BGBilling://# /opt/bgbilling/BGBillingServer/bg_installer.sh data_loader.sh
03-03/12:37:14 INFO [main] DefaultServerSetup - Binding javax.jms.ConnectionFactory[org.apache.activemq.ActiveMQConnectionFactory@4abdb505] to java:comp/env/mq/connectionFactory
03-03/12:37:14 INFO [main] DefaultServerSetup - Init DB connection pools
03-03/12:37:14 INFO [main] DefaultServerSetup - Binding JDBC pool "master" to java:comp/env/jdbc/master
03-03/12:37:14 INFO [main] AnnotatedMBean - Register MBean ru.bitel.bgbilling.server.util:type=DatabaseConnectionPool,name=master
03-03/12:37:15 INFO [main] DefaultServerSetup - Init trash pools...
mq 03-03/12:37:15 INFO [EventProcessor-init] EventProcessor - Init EventProcessor MQ connection factory...
mq 03-03/12:37:15 DEBUG [EventProcessor-init] FailoverTransport - Reconnect was triggered but transport is not started yet. Wait for start to connect the transport.
mq 03-03/12:37:15 DEBUG [EventProcessor-init] FailoverTransport - Started.
mq 03-03/12:37:15 DEBUG [EventProcessor-init] FailoverTransport - Waking up reconnect task
mq 03-03/12:37:15 DEBUG [ActiveMQ Task] FailoverTransport - urlList connectionList:[nio://127.0.0.1:61616?socketBufferSize=1000000]
mq 03-03/12:37:15 DEBUG [ActiveMQ Task] FailoverTransport - Attempting connect to: nio://127.0.0.1:61616?socketBufferSize=1000000
mq 03-03/12:37:15 DEBUG [ActiveMQ Task] WireFormatNegotiator - Sending: WireFormatInfo { version=6, properties={TcpNoDelayEnabled=true, SizePrefixDisabled=false, CacheSize=1024, StackTraceEnabled=true, CacheEnabled=true, TightEncodingEnabled=true, MaxInactivityDuration=30000, MaxInactivityDurationInitalDelay=10000}, magic=[A,c,t,i,v,e,M,Q]}
mq 03-03/12:37:15 DEBUG [ActiveMQ NIO Worker] WireFormatNegotiator - Received WireFormat: WireFormatInfo { version=9, properties={TcpNoDelayEnabled=true, SizePrefixDisabled=false, CacheSize=1024, StackTraceEnabled=true, CacheEnabled=true, TightEncodingEnabled=true, MaxFrameSize=9223372036854775807, MaxInactivityDuration=30000, MaxInactivityDurationInitalDelay=10000}, magic=[A,c,t,i,v,e,M,Q]}
mq 03-03/12:37:15 DEBUG [ActiveMQ NIO Worker] WireFormatNegotiator - tcp:///127.0.0.1:61616 before negotiation: OpenWireFormat{version=6, cacheEnabled=false, stackTraceEnabled=false, tightEncodingEnabled=false, sizePrefixDisabled=false}
mq 03-03/12:37:15 DEBUG [ActiveMQ NIO Worker] WireFormatNegotiator - tcp:///127.0.0.1:61616 after negotiation: OpenWireFormat{version=6, cacheEnabled=true, stackTraceEnabled=true, tightEncodingEnabled=true, sizePrefixDisabled=false}
mq 03-03/12:37:15 DEBUG [ActiveMQ Task] FailoverTransport - Connection established
mq 03-03/12:37:15 INFO [ActiveMQ Task] FailoverTransport - Successfully connected to nio://127.0.0.1:61616?socketBufferSize=1000000
03-03/12:37:16 DEBUG [main] EventProcessor - Add ru.bitel.bgbilling.server.util.Setup$1@7c9d8e2 to BG.Event.ru.bitel.bgbilling.kernel.event.events.system.ModuleConfigModifiedEvent
Error: module.xml not found in zip
03-03/12:37:16 INFO [Thread-4] EventProcessor - Shutdown EventProcessor...
03-03/12:37:16 DEBUG [Thread-4] ActiveMQMessageConsumer - remove: ID:BGBilling.rosneft-48436-1456983435426-0:1:2:1, lastDeliveredSequenceId:0

Автор:  dimOn [ 03 мар 2016, 11:41 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

всё надо обновить

Автор:  stark [ 03 мар 2016, 13:01 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

остановите все. и
Код:
./bg_installer.sh update

Автор:  Andrey1981 [ 03 мар 2016, 13:08 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

stark писал(а):
остановите все. и
Код:
./bg_installer.sh update

В общем обновился. Дата лоадер теперь работает нормально.
Всё загрузил и обработал.

Благодарю.

Автор:  stark [ 03 мар 2016, 13:11 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

Andrey1981 писал(а):
stark писал(а):
остановите все. и
Код:
./bg_installer.sh update

В общем обновился. Дата лоадер теперь работает нормально.
Всё загрузил и обработал.

Благодарю.



Ошибки в логах смотрите . Там должна быть ошибка на этом договоре.

Автор:  Andrey1981 [ 03 мар 2016, 14:39 ]
Заголовок сообщения:  Re: Не обрабатывается файл вызовов виснет загрузчик (CRM)

[/quote]


Ошибки в логах смотрите . Там должна быть ошибка на этом договоре.[/quote]

С договором разобрался. Там были назначены тарифы для не существующих правил.

В журнале ошибок нет сообщений об этом договоре.

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/