forum.bitel.ru
http://forum.bitel.ru/

Dataloader перестал автоматически обрабатывать логи
http://forum.bitel.ru/viewtopic.php?f=10&t=10510		 Страница 1 из 1
Автор:  neon [ 14 май 2015, 03:28 ]
Заголовок сообщения:  Dataloader перестал автоматически обрабатывать логи
Добрый день!
Загрузку инициируем через Socket следующим образом:
Код:
for ($h=1; $h<=24; $h++)
{
    print "adding log $fyear-$fmonth-$fday-$h-$source_id to loader...\n";
    #system( "/home/BGBillingServer/data_loader.sh -eload=$year-$month-$day-$hour-3");

    # create a connecting socket
    my $socket = new IO::Socket::INET (
        PeerHost => $DATALOADER_HOST,
        PeerPort => $DATALOADER_PORT,
        Proto => "tcp",
    );
    die "cannot connect to the server $!\n" unless $socket;
    #print "connected to the server\n";
    my $req = "load=$fyear-$fmonth-$fday-$h-$source_id";
    $socket->send($req);
    $socket->close();
}

Логи без проблем загружаются, но после загрузки автоматически не обрабатываются. Раньше после загрузки автоматически инициировалась тарификация. Сейчас только загрузка (обработку приходится запускать руками). Из-за чего может не производиться автоматическая обработка после загрузки. В логах dataloader ошибок нет.
Bgbilling:
Код:
Информация о версии:

  Клиент: вер. 6.1.844 / 09.04.2015 17:27:03
    os: Windows 7; java: Java HotSpot(TM) Client VM, v.1.8.0_31
    ВНИМАНИЕ: Спецификация версии 1.8 не рекомендуется
  Сервер: вер. 6.1.1063 / 09.04.2015 17:27:07
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.7.0_67

  bill: вер. 6.1.258 / 10.04.2015 19:43:28
    ВНИМАНИЕ: клиентская версия: 6.1.257 / 20.03.2015 15:47:58
  card: вер. 6.1.205 / 11.03.2015 20:02:46
  inet: вер. 6.1.686 / 09.04.2015 14:15:58
  npay: вер. 6.1.189 / 03.04.2015 15:11:33
  phone: вер. 6.1.250 / 23.03.2015 19:26:46
  reports: вер. 6.1.200 / 10.04.2015 18:10:19
  ru.bitel.bgbilling.plugins.cladr: вер. 6.1.115 / 08.02.2015 20:45:26

Окружение:

  Клиент:
    os: Windows 7 x86, 6.1
    java: Java HotSpot(TM) Client VM, v.1.8.0_31
    jre home: C:\Program Files (x86)\Java\jre1.8.0_31
    default tz: 14.05.2015 00:26 MSK +0300 (Europe/Moscow)
    user tz: 14.05.2015 00:26 AST +0300 (Asia/Baghdad)
    locale: ru_RU
  Сервер:
    os: Linux amd64, 3.2.0-4-amd64
    java: Java HotSpot(TM) 64-Bit Server VM, v.1.7.0_67
    jre home: /opt/java/jdk1.7.0_67/jre
    default tz: 14.05.2015 00:27 MSK +0300 (Europe/Moscow)
    locale: en_US
Автор:  neon [ 14 май 2015, 03:35 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
Из предположений, может быть из-за того что не выставлен баланс за предыдущий месяц. Баланс на данный момент в системе не начисляется.
Автор:  stark [ 14 май 2015, 13:03 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
покажите что в логах планировщика.
Автор:  neon [ 14 май 2015, 13:23 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
Загрузил все логи:
https://yadi.sk/d/Bch7NuJxgcVjs
Автор:  stark [ 14 май 2015, 16:20 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
neon писал(а):
Загрузил все логи:
https://yadi.sk/d/Bch7NuJxgcVjs

у вас по логам идет загрузка
Цитата:
/14:42:14 INFO [Thread-0] dataloader - DataLoader => start()
05-14/00:15:03 INFO [Thread-15] dataloader - 73 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_01
05-14/00:15:03 INFO [Thread-15] dataloader - 73 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-16] dataloader - 74 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_02
05-14/00:15:03 INFO [Thread-16] dataloader - 74 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-17] dataloader - 75 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_03
05-14/00:15:03 INFO [Thread-17] dataloader - 75 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-15] dataloader - 73 no need load..
05-14/00:15:03 INFO [Thread-15] dataloader - 73 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-18] dataloader - 76 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_04
05-14/00:15:03 INFO [Thread-18] dataloader - 76 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-16] dataloader - 74 no need load..
05-14/00:15:03 INFO [Thread-16] dataloader - 74 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-19] dataloader - 77 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_05
05-14/00:15:03 INFO [Thread-19] dataloader - 77 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-17] dataloader - 75 no need load..
05-14/00:15:03 INFO [Thread-17] dataloader - 75 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-20] dataloader - 78 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_06
05-14/00:15:03 INFO [Thread-20] dataloader - 78 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-18] dataloader - 76 no need load..
05-14/00:15:03 INFO [Thread-18] dataloader - 76 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-19] dataloader - 77 no need load..
05-14/00:15:03 INFO [Thread-19] dataloader - 77 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-21] dataloader - 79 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_07
05-14/00:15:03 INFO [Thread-21] dataloader - 79 Connect to host: 89.109.234.49
05-14/00:15:03 INFO [Thread-20] dataloader - 78 no need load..
05-14/00:15:03 INFO [Thread-20] dataloader - 78 Disconnect from host: 89.109.234.49
05-14/00:15:03 INFO [Thread-22] dataloader - 80 Load data FROM ftp://89.109.234.49/home/vtk/cdr/bgbill ... 5/05/13_08
05-14/00:15:03 INFO [Thread-22] dataloader - 80 Connect to host: 89.109.234.49

потом обрабатываются :
Цитата:
05-14/00:16:08 INFO [Thread-0] dataloader - proccess [13-05-2015 08:00:00; mid => 4; param => 1] ; records => 2; cl_ses => 0; in_ses => 2; op_ses => 0; time => 17783/86 ms.
05-14/00:16:08 INFO [pool-1-thread-1] dataloader - proccess [13-05-2015 08:00:00; mid => 4; param => 1] session inserted => 247 ms.
05-14/00:16:08 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
05-14/00:16:08 INFO [Thread-0] dataloader - Use zone traffic cache..
05-14/00:16:08 INFO [Thread-0] dataloader - Use month item cache..
05-14/00:16:08 INFO [Thread-0] dataloader - Use item cache...
05-14/00:16:08 INFO [Thread-0] dataloader - Item loaded By num: 105; by port: 0; rules: 0
05-14/00:16:08 WARN [Thread-90] AbstractTariffTreeBuilder - Root of tree not found for tree:22 module:4
05-14/00:16:08 WARN [Thread-90] AbstractTariffTreeBuilder - Root of tree not found for tree:79 module:4
05-14/00:16:08 INFO [Thread-0] dataloader - proccess [13-05-2015 09:00:00; mid => 4; param => 1] ; records => 10; cl_ses => 2; in_ses => 8; op_ses => 0; time => 253/0 ms.
05-14/00:16:08 INFO [pool-1-thread-2] dataloader - proccess [13-05-2015 09:00:00; mid => 4; param => 1] session inserted => 242 ms.
05-14/00:16:09 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
05-14/00:16:09 INFO [Thread-0] dataloader - Use zone traffic cache..
05-14/00:16:09 INFO [Thread-0] dataloader - Use month item cache..
05-14/00:16:09 INFO [Thread-0] dataloader - Use item cache...
05-14/00:16:09 INFO [Thread-0] dataloader - Item loaded By num: 105; by port: 0; rules: 0
05-14/00:16:09 INFO [Thread-0] dataloader - proccess [13-05-2015 10:00:00; mid => 4; param => 1] ; records => 12; cl_ses => 5; in_ses => 7; op_ses => 0; time => 124/1 ms.
05-14/00:16:09 INFO [pool-1-thread-3] dataloader - proccess [13-05-2015 10:00:00; mid => 4; param => 1] session inserted => 174 ms.
05-14/00:16:09 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
05-14/00:16:09 INFO [Thread-0] dataloader - Use zone traffic cache..
05-14/00:16:09 INFO [Thread-0] dataloader - Use month item cache..
..
Автор:  neon [ 14 май 2015, 16:45 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
ОК, но квадратики в матрице не закрашиваются. Попробую после очередной загрузки проверить обработалось или нет и параллельно проверю наличие отметок об обработке.
Автор:  stark [ 14 май 2015, 16:51 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
а если вручную добавить на загрузку , тоже не обрабатывает потом ?
Автор:  neon [ 14 май 2015, 17:23 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
Да, если добавлять руками, все отлично отрабатывает. И квадратики закрашиваются. Дождусь сегодня обработки посмотрю обработалось ли что то мб просто проблема с отображением квадратиков. О загрузке появляются, а об обработке нет.
Автор:  stark [ 14 май 2015, 18:10 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
neon писал(а):
Да, если добавлять руками, все отлично отрабатывает. И квадратики закрашиваются. Дождусь сегодня обработки посмотрю обработалось ли что то мб просто проблема с отображением квадратиков. О загрузке появляются, а об обработке нет.


Вы добавьте и покажите что в логах dataloader-а при этом нового появилось.
Автор:  neon [ 15 май 2015, 15:40 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
Перезагрузил Dataloader и сервера. Квадратики начали закрашиваться как надо....
Автор:  Galkov [ 27 май 2015, 13:42 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
ошибки Java HEAP space есть в логе даталоадера? нужно увеличивать память, выделяемую даталоадеру, стандартной, указаной в устновке с нуля - для боевой машины недостаточно. если даталоадер отвалится из-за нехватки heap - "квадратики" появлятся не будут.

и вот простенький перлскрипт(костыль), которым через крон можно проверять эту ошибку и толкать рестарт даталоадера...
Автор:  stark [ 27 май 2015, 16:21 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
Galkov писал(а):
ошибки Java HEAP space есть в логе даталоадера? нужно увеличивать память, выделяемую даталоадеру, стандартной, указаной в устновке с нуля - для боевой машины недостаточно. если даталоадер отвалится из-за нехватки heap - "квадратики" появлятся не будут.

и вот простенький перлскрипт(костыль), которым через крон можно проверять эту ошибку и толкать рестарт даталоадера...

У вас она так часто возникает ?
Автор:  Galkov [ 27 май 2015, 17:42 ]
Заголовок сообщения:  Re: Dataloader перестал автоматически обрабатывать логи
stark писал(а):
Galkov писал(а):
ошибки Java HEAP space есть в логе даталоадера? нужно увеличивать память, выделяемую даталоадеру, стандартной, указаной в устновке с нуля - для боевой машины недостаточно. если даталоадер отвалится из-за нехватки heap - "квадратики" появлятся не будут.

и вот простенький перлскрипт(костыль), которым через крон можно проверять эту ошибку и толкать рестарт даталоадера...

У вас она так часто возникает ?



Пока 256м стояло - да очень часто валилось (раз в 2-3 часа), тогда этот скрипт выручал, когда выставил 768м - проблема пропала, сейчас поставил MEMORY=-Xmx1024m в data_loader.sh - ни разу больше не появлялось. месяц уже. я б рекомендовал увеличить размер по дефолту.. у нас не так уж много звонков и абонентов в час проходит. думаю многие сталкиваются.
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/