BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 28 мар 2024, 20:07

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 10 ] 
Автор Сообщение
 Заголовок сообщения: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 17:51 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
Тестовый лог, созданый по инструкции - http://bgbilling.ru/v6.0/doc/ch27s03.html (лежит в 2015/01/день_час.zip)
строки имеют вид:
30.01.2015 09:49:29 448 2300180 78462300180 89060000001 79060000001 10.225.xxx.xx xxx.xxx.xxx.xxx 0 448 0
----
Настроил загрузку логов, и пробую загрузить вручную. Логи... лог ошибок пуст, говорят, что как-будто всё проходит нормально: файл найден ушёл в загрузку, но при этом таблица появляется, но select * from data_log_3_20150130; показывает отсутствие данных, ни одной записи. Естественно и дальше - ничего.
дебаг лог пишет ->

looking tasks for process...
01-30/15:52:30 DEBUG [Thread-0] dataloader - Looking tasks for load...
01-30/15:52:30 DEBUG [Thread-0] dataloader - loading - taskId: 803 source: 2
01-30/15:52:30 DEBUG [Thread-0] dataloader - 803 Start task
01-30/15:52:30 INFO [Thread-103] dataloader - 803 Load data from: /opt/bgbilling/script/meraconv/LOG/2015/01/30_15.zip
01-30/15:52:30 INFO [Thread-103] dataloader - 803 Set to load /opt/bgbilling/script/meraconv/LOG/2015/01/30_15.zip
01-30/15:52:30 DEBUG [Thread-0] dataloader -
Looking active loaders [1]...
01-30/15:52:30 DEBUG [Thread-0] dataloader - 803 isLoad => true
01-30/15:52:30 INFO [Thread-0] dataloader - 803 End task => 0/0 sec. [0]
01-30/15:52:34 DEBUG [Thread-0] dataloader - Looking tasks for load...
01-30/15:52:34 DEBUG [Thread-0] dataloader -
Looking active loaders [0]...
01-30/15:52:34 DEBUG [Thread-0] dataloader -
looking tasks for process...
01-30/15:52:34 DEBUG [Thread-0] dataloader - processing mid:3 source:2 date: 2015-01-30 15:00:00.0
01-30/15:52:34 INFO [Thread-0] dataloader - tariff.only.month=false store.incoming.calls=true
01-30/15:52:34 DEBUG [Thread-0] dataloader - Clear errors..
01-30/15:52:34 INFO [Thread-0] dataloader - Create new traffic cache
01-30/15:52:34 INFO [Thread-0] dataloader - Use month item cache..
01-30/15:52:34 INFO [Thread-0] dataloader - Use item cache...
01-30/15:52:34 INFO [Thread-0] dataloader - Item loaded By num: 2; by port: 0; rules: 0
01-30/15:52:34 DEBUG [Thread-0] dataloader - Ports:
Numbers: 78462300180 2300180
01-30/15:52:34 INFO [Thread-0] dataloader - proccess [30-01-2015 15:00:00; mid => 3; param => 2] ; records => 0; cl_ses => 0; in_ses => 0; op_ses => 0; time => 11/1 ms.
01-30/15:52:34 DEBUG [pool-1-thread-10] dataloader - Deleting processing sessions..
01-30/15:52:34 INFO [pool-1-thread-10] dataloader - proccess [30-01-2015 15:00:00; mid => 3; param => 2] session inserted => 4 ms.
01-30/15:52:34 DEBUG [Thread-0] dataloader - Looking tasks for load...
01-30/15:52:34 DEBUG [Thread-0] dataloader -




Что я не так делаю?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 19:35 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
какая версия?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 19:47 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
6.0.
главное в логах всё нормально на первый взгляд.. дебаг левел не ругается ни на что. и в журнале ошибок - ничего... зацепится не за что. :(


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 19:50 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Galkov писал(а):
Тестовый лог, созданый по инструкции - http://bgbilling.ru/v6.0/doc/ch27s03.html (лежит в 2015/01/день_час.zip)
строки имеют вид:
30.01.2015 09:49:29 448 2300180 78462300180 89060000001 79060000001 10.225.xxx.xx xxx.xxx.xxx.xxx 0 448 0
----


А вы точно их раздлили tab-ми? Т.е строка имеет такой вид ?
Код:
30.01.2015 09:49:29\t448\t2300180\t78462300180\t89060000001\t79060000001\t10.225.xxx.xx\txxx.xxx.xxx.xxx\t0\t448\t0


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 19:51 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
судя по логу как будто в внутри 30_15.zip ничего нет вообще . Т.е там либо нет файла, либо в этом файле нет ни одной строки.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 19:52 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
да!
$value = "$mass[3].".get_month_num($mass[2]).".$mass[4]\t"."$mass[0]\t".int($date[8]/100)."\t$from_num\t$from_num_e164\t$to_num\t$to_num_e164\t$date[6]\t$date[7]\t0\t".int($date[8]/100)."\t0\n";
print RTU $value;

в этом файле 20 строк в указанном выше формате.


Последний раз редактировалось Galkov 30 янв 2015, 20:11, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 20:02 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке.

а можно как-то указать, чтобы загрузка велась не файлов вида *.zip, а вайлов *.gzip ?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 30 янв 2015, 20:22 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Galkov писал(а):
У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке.

а можно как-то указать, чтобы загрузка велась не файлов вида *.zip, а вайлов *.gzip ?


может zip-ом попробуйте. У нас там просто считывается первый попавшийся файл из zip-а
Код:
 public ZipLoadIn( BaseLoader loader,  File file )
    {
        super( loader );
        this.file = file;
       
        try
        {
            ZipInputStream zis = new ZipInputStream( new FileInputStream( file ) );
            zis.getNextEntry();
           
            this.reader = new BufferedReader( new InputStreamReader( zis ), 1000000 );
        }
        catch( Exception e )
        {
            e.printStackTrace();
        }
    }


далее уже

Код:
 String line = reader.readLine();
            if( line == null )
            {
                return null;
            }
           
            StringTokenizer st = new StringTokenizer( line, "\t" );
            record = new LogRecord();

            if ( st.countTokens() >= 9 )
            {
                if( log.isDebugEnabled() )
                {
                    log.debug( "LINE: " + line );
                }               
               
                record.sessionStart = TimeUtils.parseCalendar( st.nextToken(), TimeUtils.DATE_FORMAT_PATTERN_DDMMYYYY_HHMMSS );
                record.sessionTime = record.connectTime = Utils.parseInt( st.nextToken(), 0 );
                ....
            }
            else
            {
                log.warn( "Skip line: " + line );
            }


Но у вас ничего этого не пишет в логах.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 02 фев 2015, 12:11 
Не в сети
Клиент

Зарегистрирован: 10 ноя 2014, 18:38
Сообщения: 396
Карма: 0
да, в этом проболема и была :facepalm:


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: логи не грузятся в data_log_****
СообщениеДобавлено: 02 фев 2015, 12:39 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
Цитата:
У меня одно отступление от инструкции .. я файлы пакую gzip ом, и меняю расширение c .gz на zip, что может теоретически вызывать какие-то ошибки при распаковке.
Есть где-то пример того, что gzip берёт и работает вместо zip? Вы же должны понимать что между zip и gzip ничего общего в контексте "формат файла" нет?

_________________
I'm clever. I've got a computer.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.082s | 38 Queries | GZIP : On ]