BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 17 апр 2024, 05:00

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 13 ] 
Автор Сообщение
СообщениеДобавлено: 14 май 2015, 03:28 
Не в сети
Клиент

Зарегистрирован: 08 апр 2013, 17:07
Сообщения: 44
Откуда: Москва
Карма: 0
Добрый день!
Загрузку инициируем через Socket следующим образом:
Код:
for ($h=1; $h<=24; $h++)
{
    print "adding log $fyear-$fmonth-$fday-$h-$source_id to loader...\n";
    #system( "/home/BGBillingServer/data_loader.sh -eload=$year-$month-$day-$hour-3");

    # create a connecting socket
    my $socket = new IO::Socket::INET (
        PeerHost => $DATALOADER_HOST,
        PeerPort => $DATALOADER_PORT,
        Proto => "tcp",
    );
    die "cannot connect to the server $!\n" unless $socket;
    #print "connected to the server\n";
    my $req = "load=$fyear-$fmonth-$fday-$h-$source_id";
    $socket->send($req);
    $socket->close();
}

Логи без проблем загружаются, но после загрузки автоматически не обрабатываются. Раньше после загрузки автоматически инициировалась тарификация. Сейчас только загрузка (обработку приходится запускать руками). Из-за чего может не производиться автоматическая обработка после загрузки. В логах dataloader ошибок нет.
Bgbilling:
Код:
Информация о версии:

  Клиент: вер. 6.1.844 / 09.04.2015 17:27:03
    os: Windows 7; java: Java HotSpot(TM) Client VM, v.1.8.0_31
    ВНИМАНИЕ: Спецификация версии 1.8 не рекомендуется
  Сервер: вер. 6.1.1063 / 09.04.2015 17:27:07
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.7.0_67

  bill: вер. 6.1.258 / 10.04.2015 19:43:28
    ВНИМАНИЕ: клиентская версия: 6.1.257 / 20.03.2015 15:47:58
  card: вер. 6.1.205 / 11.03.2015 20:02:46
  inet: вер. 6.1.686 / 09.04.2015 14:15:58
  npay: вер. 6.1.189 / 03.04.2015 15:11:33
  phone: вер. 6.1.250 / 23.03.2015 19:26:46
  reports: вер. 6.1.200 / 10.04.2015 18:10:19
  ru.bitel.bgbilling.plugins.cladr: вер. 6.1.115 / 08.02.2015 20:45:26

Окружение:

  Клиент:
    os: Windows 7 x86, 6.1
    java: Java HotSpot(TM) Client VM, v.1.8.0_31
    jre home: C:\Program Files (x86)\Java\jre1.8.0_31
    default tz: 14.05.2015 00:26 MSK +0300 (Europe/Moscow)
    user tz: 14.05.2015 00:26 AST +0300 (Asia/Baghdad)
    locale: ru_RU
  Сервер:
    os: Linux amd64, 3.2.0-4-amd64
    java: Java HotSpot(TM) 64-Bit Server VM, v.1.7.0_67
    jre home: /opt/java/jdk1.7.0_67/jre
    default tz: 14.05.2015 00:27 MSK +0300 (Europe/Moscow)
    locale: en_US


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 03:35 
Не в сети
Клиент

Зарегистрирован: 08 апр 2013, 17:07
Сообщения: 44
Откуда: Москва
Карма: 0
Из предположений, может быть из-за того что не выставлен баланс за предыдущий месяц. Баланс на данный момент в системе не начисляется.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 13:03 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
покажите что в логах планировщика.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 13:23 
Не в сети
Клиент

Зарегистрирован: 08 апр 2013, 17:07
Сообщения: 44
Откуда: Москва
Карма: 0
Загрузил все логи:
https://yadi.sk/d/Bch7NuJxgcVjs


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 16:20 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
neon писал(а):
Загрузил все логи:
https://yadi.sk/d/Bch7NuJxgcVjs

у вас по логам идет загрузка
Цитата:
/14:42:14 INFO [Thread-0] dataloader - DataLoader => start()
05-14/00:15:03 INFO [Thread-15] dataloader - 73 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_01
05-14/00:15:03 INFO [Thread-15] dataloader - 73 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-16] dataloader - 74 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_02
05-14/00:15:03 INFO [Thread-16] dataloader - 74 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-17] dataloader - 75 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_03
05-14/00:15:03 INFO [Thread-17] dataloader - 75 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-15] dataloader - 73 no need load..
05-14/00:15:03 INFO [Thread-15] dataloader - 73 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-18] dataloader - 76 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_04
05-14/00:15:03 INFO [Thread-18] dataloader - 76 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-16] dataloader - 74 no need load..
05-14/00:15:03 INFO [Thread-16] dataloader - 74 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-19] dataloader - 77 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_05
05-14/00:15:03 INFO [Thread-19] dataloader - 77 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-17] dataloader - 75 no need load..
05-14/00:15:03 INFO [Thread-17] dataloader - 75 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-20] dataloader - 78 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_06
05-14/00:15:03 INFO [Thread-20] dataloader - 78 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-18] dataloader - 76 no need load..
05-14/00:15:03 INFO [Thread-18] dataloader - 76 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-19] dataloader - 77 no need load..
05-14/00:15:03 INFO [Thread-19] dataloader - 77 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-21] dataloader - 79 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_07
05-14/00:15:03 INFO [Thread-21] dataloader - 79 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-20] dataloader - 78 no need load..
05-14/00:15:03 INFO [Thread-20] dataloader - 78 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-22] dataloader - 80 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_08
05-14/00:15:03 INFO [Thread-22] dataloader - 80 Connect to host: 89.109.234.49

потом обрабатываются :
Цитата:
05-14/00:16:08 INFO [Thread-0] dataloader - proccess [13-05-2015 08:00:00; mid => 4; param => 1] ; records => 2; cl_ses => 0; in_ses => 2; op_ses => 0; time => 17783/86 ms.
05-14/00:16:08 INFO [pool-1-thread-1] dataloader - proccess [13-05-2015 08:00:00; mid => 4; param => 1] session inserted => 247 ms.
05-14/00:16:08 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
05-14/00:16:08 INFO [Thread-0] dataloader - Use zone traffic cache..
05-14/00:16:08 INFO [Thread-0] dataloader - Use month item cache..
05-14/00:16:08 INFO [Thread-0] dataloader - Use item cache...
05-14/00:16:08 INFO [Thread-0] dataloader - Item loaded By num: 105; by port: 0; rules: 0
05-14/00:16:08 WARN [Thread-90] AbstractTariffTreeBuilder - Root of tree not found for tree:22 module:4
05-14/00:16:08 WARN [Thread-90] AbstractTariffTreeBuilder - Root of tree not found for tree:79 module:4
05-14/00:16:08 INFO [Thread-0] dataloader - proccess [13-05-2015 09:00:00; mid => 4; param => 1] ; records => 10; cl_ses => 2; in_ses => 8; op_ses => 0; time => 253/0 ms.
05-14/00:16:08 INFO [pool-1-thread-2] dataloader - proccess [13-05-2015 09:00:00; mid => 4; param => 1] session inserted => 242 ms.
05-14/00:16:09 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
05-14/00:16:09 INFO [Thread-0] dataloader - Use zone traffic cache..
05-14/00:16:09 INFO [Thread-0] dataloader - Use month item cache..
05-14/00:16:09 INFO [Thread-0] dataloader - Use item cache...
05-14/00:16:09 INFO [Thread-0] dataloader - Item loaded By num: 105; by port: 0; rules: 0
05-14/00:16:09 INFO [Thread-0] dataloader - proccess [13-05-2015 10:00:00; mid => 4; param => 1] ; records => 12; cl_ses => 5; in_ses => 7; op_ses => 0; time => 124/1 ms.
05-14/00:16:09 INFO [pool-1-thread-3] dataloader - proccess [13-05-2015 10:00:00; mid => 4; param => 1] session inserted => 174 ms.
05-14/00:16:09 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
05-14/00:16:09 INFO [Thread-0] dataloader - Use zone traffic cache..
05-14/00:16:09 INFO [Thread-0] dataloader - Use month item cache..
..


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 16:45 
Не в сети
Клиент

Зарегистрирован: 08 апр 2013, 17:07
Сообщения: 44
Откуда: Москва
Карма: 0
ОК, но квадратики в матрице не закрашиваются. Попробую после очередной загрузки проверить обработалось или нет и параллельно проверю наличие отметок об обработке.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 16:51 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
а если вручную добавить на загрузку , тоже не обрабатывает потом ?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 17:23 
Не в сети
Клиент

Зарегистрирован: 08 апр 2013, 17:07
Сообщения: 44
Откуда: Москва
Карма: 0
Да, если добавлять руками, все отлично отрабатывает. И квадратики закрашиваются. Дождусь сегодня обработки посмотрю обработалось ли что то мб просто проблема с отображением квадратиков. О загрузке появляются, а об обработке нет.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2015, 18:10 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
neon писал(а):
Да, если добавлять руками, все отлично отрабатывает. И квадратики закрашиваются. Дождусь сегодня обработки посмотрю обработалось ли что то мб просто проблема с отображением квадратиков. О загрузке появляются, а об обработке нет.


Вы добавьте и покажите что в логах dataloader-а при этом нового появилось.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 май 2015, 15:40 
Не в сети
Клиент

Зарегистрирован: 08 апр 2013, 17:07
Сообщения: 44
Откуда: Москва
Карма: 0
Перезагрузил Dataloader и сервера. Квадратики начали закрашиваться как надо....


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 27 май 2015, 13:42 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
ошибки Java HEAP space есть в логе даталоадера? нужно увеличивать память, выделяемую даталоадеру, стандартной, указаной в устновке с нуля - для боевой машины недостаточно. если даталоадер отвалится из-за нехватки heap - "квадратики" появлятся не будут.

и вот простенький перлскрипт(костыль), которым через крон можно проверять эту ошибку и толкать рестарт даталоадера...


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 27 май 2015, 16:21 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Galkov писал(а):
ошибки Java HEAP space есть в логе даталоадера? нужно увеличивать память, выделяемую даталоадеру, стандартной, указаной в устновке с нуля - для боевой машины недостаточно. если даталоадер отвалится из-за нехватки heap - "квадратики" появлятся не будут.

и вот простенький перлскрипт(костыль), которым через крон можно проверять эту ошибку и толкать рестарт даталоадера...

У вас она так часто возникает ?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 27 май 2015, 17:42 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
stark писал(а):
Galkov писал(а):
ошибки Java HEAP space есть в логе даталоадера? нужно увеличивать память, выделяемую даталоадеру, стандартной, указаной в устновке с нуля - для боевой машины недостаточно. если даталоадер отвалится из-за нехватки heap - "квадратики" появлятся не будут.

и вот простенький перлскрипт(костыль), которым через крон можно проверять эту ошибку и толкать рестарт даталоадера...

У вас она так часто возникает ?



Пока 256м стояло - да очень часто валилось (раз в 2-3 часа), тогда этот скрипт выручал, когда выставил 768м - проблема пропала, сейчас поставил MEMORY=-Xmx1024m в data_loader.sh - ни разу больше не появлялось. месяц уже. я б рекомендовал увеличить размер по дефолту.. у нас не так уж много звонков и абонентов в час проходит. думаю многие сталкиваются.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.103s | 44 Queries | GZIP : On ]