forum.bitel.ru http://forum.bitel.ru/ |
|
логи не грузятся в data_log_**** http://forum.bitel.ru/viewtopic.php?f=10&t=10130 |
Страница 1 из 1 |
Автор: | Galkov [ 30 янв 2015, 17:51 ] |
Заголовок сообщения: | логи не грузятся в data_log_**** |
Тестовый лог, созданый по инструкции - http://bgbilling.ru/v6.0/doc/ch27s03.html (лежит в 2015/01/день_час.zip) строки имеют вид: 30.01.2015 09:49:29 448 2300180 78462300180 89060000001 79060000001 10.225.xxx.xx xxx.xxx.xxx.xxx 0 448 0 ---- Настроил загрузку логов, и пробую загрузить вручную. Логи... лог ошибок пуст, говорят, что как-будто всё проходит нормально: файл найден ушёл в загрузку, но при этом таблица появляется, но select * from data_log_3_20150130; показывает отсутствие данных, ни одной записи. Естественно и дальше - ничего. дебаг лог пишет -> looking tasks for process... 01-30/15:52:30 DEBUG [Thread-0] dataloader - Looking tasks for load... 01-30/15:52:30 DEBUG [Thread-0] dataloader - loading - taskId: 803 source: 2 01-30/15:52:30 DEBUG [Thread-0] dataloader - 803 Start task 01-30/15:52:30 INFO [Thread-103] dataloader - 803 Load data from: /opt/bgbilling/script/meraconv/LOG/2015/01/30_15.zip 01-30/15:52:30 INFO [Thread-103] dataloader - 803 Set to load /opt/bgbilling/script/meraconv/LOG/2015/01/30_15.zip 01-30/15:52:30 DEBUG [Thread-0] dataloader - Looking active loaders [1]... 01-30/15:52:30 DEBUG [Thread-0] dataloader - 803 isLoad => true 01-30/15:52:30 INFO [Thread-0] dataloader - 803 End task => 0/0 sec. [0] 01-30/15:52:34 DEBUG [Thread-0] dataloader - Looking tasks for load... 01-30/15:52:34 DEBUG [Thread-0] dataloader - Looking active loaders [0]... 01-30/15:52:34 DEBUG [Thread-0] dataloader - looking tasks for process... 01-30/15:52:34 DEBUG [Thread-0] dataloader - processing mid:3 source:2 date: 2015-01-30 15:00:00.0 01-30/15:52:34 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true 01-30/15:52:34 DEBUG [Thread-0] dataloader - Clear errors.. 01-30/15:52:34 INFO [Thread-0] dataloader - Create new traffic cache 01-30/15:52:34 INFO [Thread-0] dataloader - Use month item cache.. 01-30/15:52:34 INFO [Thread-0] dataloader - Use item cache... 01-30/15:52:34 INFO [Thread-0] dataloader - Item loaded By num: 2; by port: 0; rules: 0 01-30/15:52:34 DEBUG [Thread-0] dataloader - Ports: Numbers: 78462300180 2300180 01-30/15:52:34 INFO [Thread-0] dataloader - proccess [30-01-2015 15:00:00; mid => 3; param => 2] ; records => 0; cl_ses => 0; in_ses => 0; op_ses => 0; time => 11/1 ms. 01-30/15:52:34 DEBUG [pool-1-thread-10] dataloader - Deleting processing sessions.. 01-30/15:52:34 INFO [pool-1-thread-10] dataloader - proccess [30-01-2015 15:00:00; mid => 3; param => 2] session inserted => 4 ms. 01-30/15:52:34 DEBUG [Thread-0] dataloader - Looking tasks for load... 01-30/15:52:34 DEBUG [Thread-0] dataloader - Что я не так делаю? |
Автор: | stark [ 30 янв 2015, 19:35 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
какая версия? |
Автор: | Galkov [ 30 янв 2015, 19:47 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
6.0. главное в логах всё нормально на первый взгляд.. дебаг левел не ругается ни на что. и в журнале ошибок - ничего... зацепится не за что. |
Автор: | stark [ 30 янв 2015, 19:50 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
Galkov писал(а): Тестовый лог, созданый по инструкции - http://bgbilling.ru/v6.0/doc/ch27s03.html (лежит в 2015/01/день_час.zip) строки имеют вид: 30.01.2015 09:49:29 448 2300180 78462300180 89060000001 79060000001 10.225.xxx.xx xxx.xxx.xxx.xxx 0 448 0 ---- А вы точно их раздлили tab-ми? Т.е строка имеет такой вид ? Код: 30.01.2015 09:49:29\t448\t2300180\t78462300180\t89060000001\t79060000001\t10.225.xxx.xx\txxx.xxx.xxx.xxx\t0\t448\t0
|
Автор: | stark [ 30 янв 2015, 19:51 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
судя по логу как будто в внутри 30_15.zip ничего нет вообще . Т.е там либо нет файла, либо в этом файле нет ни одной строки. |
Автор: | Galkov [ 30 янв 2015, 19:52 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
да! $value = "$mass[3].".get_month_num($mass[2]).".$mass[4]\t"."$mass[0]\t".int($date[8]/100)."\t$from_num\t$from_num_e164\t$to_num\t$to_num_e164\t$date[6]\t$date[7]\t0\t".int($date[8]/100)."\t0\n"; print RTU $value; в этом файле 20 строк в указанном выше формате. |
Автор: | Galkov [ 30 янв 2015, 20:02 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке. а можно как-то указать, чтобы загрузка велась не файлов вида *.zip, а вайлов *.gzip ? |
Автор: | stark [ 30 янв 2015, 20:22 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
Galkov писал(а): У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке. а можно как-то указать, чтобы загрузка велась не файлов вида *.zip, а вайлов *.gzip ? может zip-ом попробуйте. У нас там просто считывается первый попавшийся файл из zip-а Код: public ZipLoadIn( BaseLoader loader, File file ) { super( loader ); this.file = file; try { ZipInputStream zis = new ZipInputStream( new FileInputStream( file ) ); zis.getNextEntry(); this.reader = new BufferedReader( new InputStreamReader( zis ), 1000000 ); } catch( Exception e ) { e.printStackTrace(); } } далее уже Код: String line = reader.readLine(); if( line == null ) { return null; } StringTokenizer st = new StringTokenizer( line, "\t" ); record = new LogRecord(); if ( st.countTokens() >= 9 ) { if( log.isDebugEnabled() ) { log.debug( "LINE: " + line ); } record.sessionStart = TimeUtils.parseCalendar( st.nextToken(), TimeUtils.DATE_FORMAT_PATTERN_DDMMYYYY_HHMMSS ); record.sessionTime = record.connectTime = Utils.parseInt( st.nextToken(), 0 ); .... } else { log.warn( "Skip line: " + line ); } Но у вас ничего этого не пишет в логах. |
Автор: | Galkov [ 02 фев 2015, 12:11 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
да, в этом проболема и была |
Автор: | dimOn [ 02 фев 2015, 12:39 ] |
Заголовок сообщения: | Re: логи не грузятся в data_log_**** |
Цитата: У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке. Есть где-то пример того, что gzip берёт и работает вместо zip? Вы же должны понимать что между zip и gzip ничего общего в контексте "формат файла" нет?
|
Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |