BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 23 июн 2025, 14:47

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 7 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
Dmitri
СообщениеДобавлено: 14 сен 2009, 20:26 
Не в сети

Зарегистрирован: 13 июн 2008, 15:10
Сообщения: 362
Откуда: Москва
Карма: 0
Уважаемые разработчики, большая просьба пояснить физику следующих параметров:

Код:
#количество обработчиков часовых логов
#т.е. если необходимо обработать несколько часов, то их будут обрабатывать указанное кол-во потоков,
#на каждый час - один поток
#process.thread.count=1
#количество потоков - обработчиков часового лога
#указанное количество потоков будет обрабатывать часовой лог
#(не действует для старого формата логов и для логов snmp)
#process.datalog.thread.count=1


Никак не могу вкурить, стоит ли крутить днанные параметры. И собственно, как понять, что пора крутить?

_________________
God Bless Linux! and blessings to FreeBSD!
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 15 сен 2009, 12:24 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Если в менеджере источников выбираете переобработку сразу нескольких часов, то они обрабатываются одним потоком. Например, если каждый месяц приходится делать переобработку, приходится долго ждать и у вас несколько ядер - можно увеличить параметр process.thread.count. Его лучше не делать больше количества ядер.
Если хотите попробовать увеличить скорость обработки лога за час, т.е. ускорить обычную ежечасную автоматическую обработку, то можно увеличить параметр process.datalog.thread.count, тогда часовой лог будет обрабатываться несколкими потоками.
Если выставить process.datalog.thread.count=2 и process.thread.count=2, то при обычной обработке будет задействован только параметр process.datalog.thread.count, т.е. работать будут только два потока, если же в менеджере источников добавить в обработку несколько часов, то будет работать 4 потока, т.е. два часовых лога одновременно, которых обрабатывает по 2 потока.
Вернуться к началу
 Профиль  
 
Dmitri
СообщениеДобавлено: 15 сен 2009, 19:07 
Не в сети

Зарегистрирован: 13 июн 2008, 15:10
Сообщения: 362
Откуда: Москва
Карма: 0
Amir писал(а):
Если в менеджере источников выбираете переобработку сразу нескольких часов, то они обрабатываются одним потоком. Например, если каждый месяц приходится делать переобработку, приходится долго ждать и у вас несколько ядер - можно увеличить параметр process.thread.count. Его лучше не делать больше количества ядер.
Если хотите попробовать увеличить скорость обработки лога за час, т.е. ускорить обычную ежечасную автоматическую обработку, то можно увеличить параметр process.datalog.thread.count, тогда часовой лог будет обрабатываться несколкими потоками.
Если выставить process.datalog.thread.count=2 и process.thread.count=2, то при обычной обработке будет задействован только параметр process.datalog.thread.count, т.е. работать будут только два потока, если же в менеджере источников добавить в обработку несколько часов, то будет работать 4 потока, т.е. два часовых лога одновременно, которых обрабатывает по 2 потока.


Большое спасибо! Теперь начинаю понимать!

_________________
God Bless Linux! and blessings to FreeBSD!
Вернуться к началу
 Профиль  
 
snark
СообщениеДобавлено: 16 сен 2009, 14:52 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
в мануал это ну или комментом в конфиг бы
Вернуться к началу
 Профиль  
 
Dmitri
СообщениеДобавлено: 16 сен 2009, 18:07 
Не в сети

Зарегистрирован: 13 июн 2008, 15:10
Сообщения: 362
Откуда: Москва
Карма: 0
snark писал(а):
в мануал это ну или комментом в конфиг бы


Да-да... присоединяюсь к просьбе

_________________
God Bless Linux! and blessings to FreeBSD!
Вернуться к началу
 Профиль  
 
Cromeshnic
СообщениеДобавлено: 02 ноя 2009, 09:35 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 20 апр 2009, 12:03
Сообщения: 3092
Откуда: Иркутск
Карма: 338
Попробовал поставить process.thread.count=4 (проц - 8 ядер), получил такую ошибку:

Код:
11-01/13:30:05  INFO [Thread-13] dataloader - Processing source:7 time: 2009-11-01 12:00:00.0
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream - java.lang.NullPointerException
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at com.mysql.jdbc.ResultSetImpl.buildIndexMapping(ResultSetImpl.java:743)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at com.mysql.jdbc.ResultSetImpl.findColumn(ResultSetImpl.java:1100)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at com.mysql.jdbc.ResultSetImpl.getInt(ResultSetImpl.java:2777)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at org.apache.commons.dbcp.DelegatingResultSet.getInt(DelegatingResultSet.java:220)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.load.bean.SourceManager.getSourceFromRs(SourceManager.java:250)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.load.bean.SourceManager.getSource(SourceManager.java:216)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:118)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:1)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask.run(FutureTask.java:138)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask.run(FutureTask.java:138)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.lang.Thread.run(Thread.java:619)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40)
11-01/13:30:06 ERROR [Thread-13] dataloader - java.util.concurrent.ExecutionException: java.lang.NullPointerException 11-01/13:30:10  INFO [Thread-13] dataloader - Processing source:8 time: 2009-11-01 12:00:00.0 11-01/13:30:10  INFO [data-process-p-3-t-2] Setup - Load config for mid=9


Соотв-нно, не все обсчиталось.
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 02 ноя 2009, 13:26 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Коллектор последнего билда?
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 7 ] 

Список форумов » BGBilling » Модули Интернета » Модуль IPN

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.039s | 30 Queries | GZIP : On ]