forum.bitel.ru
http://forum.bitel.ru/

логи не грузятся в data_log_****
http://forum.bitel.ru/viewtopic.php?f=10&t=10130
Страница 1 из 1

Автор:  Galkov [ 30 янв 2015, 17:51 ]
Заголовок сообщения:  логи не грузятся в data_log_****

Тестовый лог, созданый по инструкции - http://bgbilling.ru/v6.0/doc/ch27s03.html (лежит в 2015/01/день_час.zip)
строки имеют вид:
30.01.2015 09:49:29 448 2300180 78462300180 89060000001 79060000001 10.225.xxx.xx xxx.xxx.xxx.xxx 0 448 0
----
Настроил загрузку логов, и пробую загрузить вручную. Логи... лог ошибок пуст, говорят, что как-будто всё проходит нормально: файл найден ушёл в загрузку, но при этом таблица появляется, но select * from data_log_3_20150130; показывает отсутствие данных, ни одной записи. Естественно и дальше - ничего.
дебаг лог пишет ->

looking tasks for process...
01-30/15:52:30 DEBUG [Thread-0] dataloader - Looking tasks for load...
01-30/15:52:30 DEBUG [Thread-0] dataloader - loading - taskId: 803 source: 2
01-30/15:52:30 DEBUG [Thread-0] dataloader - 803 Start task
01-30/15:52:30 INFO [Thread-103] dataloader - 803 Load data from: /opt/bgbilling/script/meraconv/LOG/2015/01/30_15.zip
01-30/15:52:30 INFO [Thread-103] dataloader - 803 Set to load /opt/bgbilling/script/meraconv/LOG/2015/01/30_15.zip
01-30/15:52:30 DEBUG [Thread-0] dataloader -
Looking active loaders [1]...
01-30/15:52:30 DEBUG [Thread-0] dataloader - 803 isLoad => true
01-30/15:52:30 INFO [Thread-0] dataloader - 803 End task => 0/0 sec. [0]
01-30/15:52:34 DEBUG [Thread-0] dataloader - Looking tasks for load...
01-30/15:52:34 DEBUG [Thread-0] dataloader -
Looking active loaders [0]...
01-30/15:52:34 DEBUG [Thread-0] dataloader -
looking tasks for process...
01-30/15:52:34 DEBUG [Thread-0] dataloader - processing mid:3 source:2 date: 2015-01-30 15:00:00.0
01-30/15:52:34 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
01-30/15:52:34 DEBUG [Thread-0] dataloader - Clear errors..
01-30/15:52:34 INFO [Thread-0] dataloader - Create new traffic cache
01-30/15:52:34 INFO [Thread-0] dataloader - Use month item cache..
01-30/15:52:34 INFO [Thread-0] dataloader - Use item cache...
01-30/15:52:34 INFO [Thread-0] dataloader - Item loaded By num: 2; by port: 0; rules: 0
01-30/15:52:34 DEBUG [Thread-0] dataloader - Ports:
Numbers: 78462300180 2300180
01-30/15:52:34 INFO [Thread-0] dataloader - proccess [30-01-2015 15:00:00; mid => 3; param => 2] ; records => 0; cl_ses => 0; in_ses => 0; op_ses => 0; time => 11/1 ms.
01-30/15:52:34 DEBUG [pool-1-thread-10] dataloader - Deleting processing sessions..
01-30/15:52:34 INFO [pool-1-thread-10] dataloader - proccess [30-01-2015 15:00:00; mid => 3; param => 2] session inserted => 4 ms.
01-30/15:52:34 DEBUG [Thread-0] dataloader - Looking tasks for load...
01-30/15:52:34 DEBUG [Thread-0] dataloader -




Что я не так делаю?

Автор:  stark [ 30 янв 2015, 19:35 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

какая версия?

Автор:  Galkov [ 30 янв 2015, 19:47 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

6.0.
главное в логах всё нормально на первый взгляд.. дебаг левел не ругается ни на что. и в журнале ошибок - ничего... зацепится не за что. :(

Автор:  stark [ 30 янв 2015, 19:50 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

Galkov писал(а):
Тестовый лог, созданый по инструкции - http://bgbilling.ru/v6.0/doc/ch27s03.html (лежит в 2015/01/день_час.zip)
строки имеют вид:
30.01.2015 09:49:29 448 2300180 78462300180 89060000001 79060000001 10.225.xxx.xx xxx.xxx.xxx.xxx 0 448 0
----


А вы точно их раздлили tab-ми? Т.е строка имеет такой вид ?
Код:
30.01.2015 09:49:29\t448\t2300180\t78462300180\t89060000001\t79060000001\t10.225.xxx.xx\txxx.xxx.xxx.xxx\t0\t448\t0

Автор:  stark [ 30 янв 2015, 19:51 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

судя по логу как будто в внутри 30_15.zip ничего нет вообще . Т.е там либо нет файла, либо в этом файле нет ни одной строки.

Автор:  Galkov [ 30 янв 2015, 19:52 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

да!
$value = "$mass[3].".get_month_num($mass[2]).".$mass[4]\t"."$mass[0]\t".int($date[8]/100)."\t$from_num\t$from_num_e164\t$to_num\t$to_num_e164\t$date[6]\t$date[7]\t0\t".int($date[8]/100)."\t0\n";
print RTU $value;

в этом файле 20 строк в указанном выше формате.

Автор:  Galkov [ 30 янв 2015, 20:02 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке.

а можно как-то указать, чтобы загрузка велась не файлов вида *.zip, а вайлов *.gzip ?

Автор:  stark [ 30 янв 2015, 20:22 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

Galkov писал(а):
У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке.

а можно как-то указать, чтобы загрузка велась не файлов вида *.zip, а вайлов *.gzip ?


может zip-ом попробуйте. У нас там просто считывается первый попавшийся файл из zip-а
Код:
 public ZipLoadIn( BaseLoader loader,  File file )
    {
        super( loader );
        this.file = file;
       
        try
        {
            ZipInputStream zis = new ZipInputStream( new FileInputStream( file ) );
            zis.getNextEntry();
           
            this.reader = new BufferedReader( new InputStreamReader( zis ), 1000000 );
        }
        catch( Exception e )
        {
            e.printStackTrace();
        }
    }


далее уже

Код:
 String line = reader.readLine();
            if( line == null )
            {
                return null;
            }
           
            StringTokenizer st = new StringTokenizer( line, "\t" );
            record = new LogRecord();

            if ( st.countTokens() >= 9 )
            {
                if( log.isDebugEnabled() )
                {
                    log.debug( "LINE: " + line );
                }               
               
                record.sessionStart = TimeUtils.parseCalendar( st.nextToken(), TimeUtils.DATE_FORMAT_PATTERN_DDMMYYYY_HHMMSS );
                record.sessionTime = record.connectTime = Utils.parseInt( st.nextToken(), 0 );
                ....
            }
            else
            {
                log.warn( "Skip line: " + line );
            }


Но у вас ничего этого не пишет в логах.

Автор:  Galkov [ 02 фев 2015, 12:11 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

да, в этом проболема и была :facepalm:

Автор:  dimOn [ 02 фев 2015, 12:39 ]
Заголовок сообщения:  Re: логи не грузятся в data_log_****

Цитата:
У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке.
Есть где-то пример того, что gzip берёт и работает вместо zip? Вы же должны понимать что между zip и gzip ничего общего в контексте "формат файла" нет?

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/