forum.bitel.ru
http://forum.bitel.ru/

Просьба пояснить некоторые параметры netflow_ipn.properties
http://forum.bitel.ru/viewtopic.php?f=7&t=2873		 Страница 1 из 1
Автор:  Dmitri [ 14 сен 2009, 20:26 ]
Заголовок сообщения:  Просьба пояснить некоторые параметры netflow_ipn.properties
Уважаемые разработчики, большая просьба пояснить физику следующих параметров:

Код:
#количество обработчиков часовых логов
#т.е. если необходимо обработать несколько часов, то их будут обрабатывать указанное кол-во потоков,
#на каждый час - один поток
#process.thread.count=1
#количество потоков - обработчиков часового лога
#указанное количество потоков будет обрабатывать часовой лог
#(не действует для старого формата логов и для логов snmp)
#process.datalog.thread.count=1


Никак не могу вкурить, стоит ли крутить днанные параметры. И собственно, как понять, что пора крутить?
Автор:  Amir [ 15 сен 2009, 12:24 ]
Заголовок сообщения:  Re: Просьба пояснить некоторые параметры netflow_ipn.properties
Если в менеджере источников выбираете переобработку сразу нескольких часов, то они обрабатываются одним потоком. Например, если каждый месяц приходится делать переобработку, приходится долго ждать и у вас несколько ядер - можно увеличить параметр process.thread.count. Его лучше не делать больше количества ядер.
Если хотите попробовать увеличить скорость обработки лога за час, т.е. ускорить обычную ежечасную автоматическую обработку, то можно увеличить параметр process.datalog.thread.count, тогда часовой лог будет обрабатываться несколкими потоками.
Если выставить process.datalog.thread.count=2 и process.thread.count=2, то при обычной обработке будет задействован только параметр process.datalog.thread.count, т.е. работать будут только два потока, если же в менеджере источников добавить в обработку несколько часов, то будет работать 4 потока, т.е. два часовых лога одновременно, которых обрабатывает по 2 потока.
Автор:  Dmitri [ 15 сен 2009, 19:07 ]
Заголовок сообщения:  Re: Просьба пояснить некоторые параметры netflow_ipn.properties
Amir писал(а):
Если в менеджере источников выбираете переобработку сразу нескольких часов, то они обрабатываются одним потоком. Например, если каждый месяц приходится делать переобработку, приходится долго ждать и у вас несколько ядер - можно увеличить параметр process.thread.count. Его лучше не делать больше количества ядер.
Если хотите попробовать увеличить скорость обработки лога за час, т.е. ускорить обычную ежечасную автоматическую обработку, то можно увеличить параметр process.datalog.thread.count, тогда часовой лог будет обрабатываться несколкими потоками.
Если выставить process.datalog.thread.count=2 и process.thread.count=2, то при обычной обработке будет задействован только параметр process.datalog.thread.count, т.е. работать будут только два потока, если же в менеджере источников добавить в обработку несколько часов, то будет работать 4 потока, т.е. два часовых лога одновременно, которых обрабатывает по 2 потока.


Большое спасибо! Теперь начинаю понимать!
Автор:  snark [ 16 сен 2009, 14:52 ]
Заголовок сообщения:  Re: Просьба пояснить некоторые параметры netflow_ipn.properties
в мануал это ну или комментом в конфиг бы
Автор:  Dmitri [ 16 сен 2009, 18:07 ]
Заголовок сообщения:  Re: Просьба пояснить некоторые параметры netflow_ipn.properties
snark писал(а):
в мануал это ну или комментом в конфиг бы


Да-да... присоединяюсь к просьбе
Автор:  Cromeshnic [ 02 ноя 2009, 09:35 ]
Заголовок сообщения:  Re: Просьба пояснить некоторые параметры netflow_ipn.properties
Попробовал поставить process.thread.count=4 (проц - 8 ядер), получил такую ошибку:

Код:
11-01/13:30:05  INFO [Thread-13] dataloader - Processing source:7 time: 2009-11-01 12:00:00.0
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream - java.lang.NullPointerException
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at com.mysql.jdbc.ResultSetImpl.buildIndexMapping(ResultSetImpl.java:743)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at com.mysql.jdbc.ResultSetImpl.findColumn(ResultSetImpl.java:1100)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at com.mysql.jdbc.ResultSetImpl.getInt(ResultSetImpl.java:2777)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at org.apache.commons.dbcp.DelegatingResultSet.getInt(DelegatingResultSet.java:220)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.load.bean.SourceManager.getSourceFromRs(SourceManager.java:250)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.load.bean.SourceManager.getSource(SourceManager.java:216)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:118)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:1)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask.run(FutureTask.java:138)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.FutureTask.run(FutureTask.java:138)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at java.lang.Thread.run(Thread.java:619)
11-01/13:30:05 ERROR [data-process-p-3-t-1] LoggingPrintStream -    at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40)
11-01/13:30:06 ERROR [Thread-13] dataloader - java.util.concurrent.ExecutionException: java.lang.NullPointerException 11-01/13:30:10  INFO [Thread-13] dataloader - Processing source:8 time: 2009-11-01 12:00:00.0 11-01/13:30:10  INFO [data-process-p-3-t-2] Setup - Load config for mid=9


Соотв-нно, не все обсчиталось.
Автор:  Amir [ 02 ноя 2009, 13:26 ]
Заголовок сообщения:  Re: Просьба пояснить некоторые параметры netflow_ipn.properties
Коллектор последнего билда?
Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/