| forum.bitel.ru http://forum.bitel.ru/ |
|
| [6.0]server.error.log (CRM) http://forum.bitel.ru/viewtopic.php?f=22&t=8625 |
Страница 1 из 1 |
| Автор: | Yarlan Zey [ 24 окт 2013, 10:36 ] |
| Заголовок сообщения: | [6.0]server.error.log |
в принципе все работает, но раз в несколько дней зависает... перезапуск службы bgbiling (без шедулера и даталоадера) помогает Код: mq 10-24/10:11:54 ERROR [ActiveMQ Session Task] BalanceEventProcessor - Lock wait timeout for ContractRuntime[2162]@1815075761
java.lang.RuntimeException: Lock wait timeout for ContractRuntime[2162]@1815075761 at ru.bitel.common.util.CheckReentrantLock.lock(CheckReentrantLock.java:46) at ru.bitel.bgbilling.kernel.contract.runtime.ContractRuntime.lock(ContractRuntime.java:104) at ru.bitel.bgbilling.kernel.event.processors.BalanceEventProcessor.notify(BalanceEventProcessor.java:94) at ru.bitel.bgbilling.kernel.event.LocalEventProcessor.request(LocalEventProcessor.java:240) at ru.bitel.bgbilling.kernel.event.EventProcessor.request(EventProcessor.java:869) at ru.bitel.bgbilling.kernel.event.EventProcessor.request(EventProcessor.java:838) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalance.generateConvergenceBalanceEvent(ConvergenceBalance.java:344) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalanceManager.generateConvergenceBalanceEvent(ConvergenceBalanceManager.java:353) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalanceManager.notify(ConvergenceBalanceManager.java:416) at ru.bitel.bgbilling.kernel.event.AbstractConsumer.notify(AbstractConsumer.java:344) at ru.bitel.bgbilling.kernel.event.Consumer.notify(Consumer.java:1) at ru.bitel.bgbilling.kernel.event.Consumer.onMessage0(Consumer.java:91) at ru.bitel.bgbilling.kernel.event.Consumer$EventListenerRunnable.runImpl(Consumer.java:51) at ru.bitel.common.worker.WorkerTask.run(WorkerTask.java:54) at ru.bitel.bgbilling.kernel.event.EventListenerThreadContext$2.rejectedExecution(EventListenerThreadContext.java:88) at java.util.concurrent.ThreadPoolExecutor.reject(Unknown Source) at java.util.concurrent.ThreadPoolExecutor.execute(Unknown Source) at ru.bitel.bgbilling.kernel.event.Consumer.onMessage(Consumer.java:159) at org.apache.activemq.ActiveMQMessageConsumer.dispatch(ActiveMQMessageConsumer.java:1229) at org.apache.activemq.ActiveMQSessionExecutor.dispatch(ActiveMQSessionExecutor.java:134) at org.apache.activemq.ActiveMQSessionExecutor.iterate(ActiveMQSessionExecutor.java:205) at org.apache.activemq.thread.PooledTaskRunner.runTask(PooledTaskRunner.java:122) at org.apache.activemq.thread.PooledTaskRunner$1.run(PooledTaskRunner.java:43) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source) at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) at java.lang.Thread.run(Unknown Source) Caused by: java.lang.RuntimeException: OwnerThread: Thread[event-proc-p-2-t-1,5,main] at sun.misc.Unsafe.park(Native Method) at java.util.concurrent.locks.LockSupport.park(Unknown Source) at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(Unknown Source) at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireQueued(Unknown Source) at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquire(Unknown Source) at java.util.concurrent.locks.ReentrantLock$NonfairSync.lock(Unknown Source) at java.util.concurrent.locks.ReentrantLock.lock(Unknown Source) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalance.getBalance(ConvergenceBalance.java:210) at ru.bitel.bgbilling.kernel.event.processors.BalanceEventProcessor.processStatus(BalanceEventProcessor.java:159) at ru.bitel.bgbilling.kernel.event.processors.BalanceEventProcessor.notify(BalanceEventProcessor.java:104) at ru.bitel.bgbilling.kernel.event.AbstractConsumer.notify(AbstractConsumer.java:344) at ru.bitel.bgbilling.kernel.event.Consumer.notify(Consumer.java:1) at ru.bitel.bgbilling.kernel.event.Consumer.onMessage0(Consumer.java:112) at ru.bitel.bgbilling.kernel.event.Consumer$EventListenerRunnable.runImpl(Consumer.java:51) at ru.bitel.common.worker.WorkerTask.run(WorkerTask.java:86) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source) at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) at java.lang.Thread.run(Unknown Source) at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40) mq 10-24/10:36:59 ERROR [ActiveMQ Session Task] BalanceEventProcessor - Lock wait timeout for ContractRuntime[21365]@1925400554 java.lang.RuntimeException: Lock wait timeout for ContractRuntime[21365]@1925400554 at ru.bitel.common.util.CheckReentrantLock.lock(CheckReentrantLock.java:46) at ru.bitel.bgbilling.kernel.contract.runtime.ContractRuntime.lock(ContractRuntime.java:104) at ru.bitel.bgbilling.kernel.event.processors.BalanceEventProcessor.notify(BalanceEventProcessor.java:94) at ru.bitel.bgbilling.kernel.event.LocalEventProcessor.request(LocalEventProcessor.java:240) at ru.bitel.bgbilling.kernel.event.EventProcessor.request(EventProcessor.java:869) at ru.bitel.bgbilling.kernel.event.EventProcessor.request(EventProcessor.java:838) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalance.generateConvergenceBalanceEvent(ConvergenceBalance.java:344) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalanceManager.generateConvergenceBalanceEvent(ConvergenceBalanceManager.java:353) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalanceManager.notify(ConvergenceBalanceManager.java:416) at ru.bitel.bgbilling.kernel.event.AbstractConsumer.notify(AbstractConsumer.java:344) at ru.bitel.bgbilling.kernel.event.Consumer.notify(Consumer.java:1) at ru.bitel.bgbilling.kernel.event.Consumer.onMessage0(Consumer.java:91) at ru.bitel.bgbilling.kernel.event.Consumer$EventListenerRunnable.runImpl(Consumer.java:51) at ru.bitel.common.worker.WorkerTask.run(WorkerTask.java:54) at ru.bitel.bgbilling.kernel.event.EventListenerThreadContext$2.rejectedExecution(EventListenerThreadContext.java:88) at java.util.concurrent.ThreadPoolExecutor.reject(Unknown Source) at java.util.concurrent.ThreadPoolExecutor.execute(Unknown Source) at ru.bitel.bgbilling.kernel.event.Consumer.onMessage(Consumer.java:159) at org.apache.activemq.ActiveMQMessageConsumer.dispatch(ActiveMQMessageConsumer.java:1229) at org.apache.activemq.ActiveMQSessionExecutor.dispatch(ActiveMQSessionExecutor.java:134) at org.apache.activemq.ActiveMQSessionExecutor.iterate(ActiveMQSessionExecutor.java:205) at org.apache.activemq.thread.PooledTaskRunner.runTask(PooledTaskRunner.java:122) at org.apache.activemq.thread.PooledTaskRunner$1.run(PooledTaskRunner.java:43) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source) at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) at java.lang.Thread.run(Unknown Source) Caused by: java.lang.RuntimeException: OwnerThread: Thread[event-proc-p-2-t-1,5,main] at sun.misc.Unsafe.park(Native Method) at java.util.concurrent.locks.LockSupport.park(Unknown Source) at java.util.concurrent.locks.AbstractQueuedSynchronizer.parkAndCheckInterrupt(Unknown Source) at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquireQueued(Unknown Source) at java.util.concurrent.locks.AbstractQueuedSynchronizer.acquire(Unknown Source) at java.util.concurrent.locks.ReentrantLock$NonfairSync.lock(Unknown Source) at java.util.concurrent.locks.ReentrantLock.lock(Unknown Source) at ru.bitel.bgbilling.kernel.contract.balance.server.ConvergenceBalance.getBalance(ConvergenceBalance.java:210) at ru.bitel.bgbilling.kernel.event.processors.BalanceEventProcessor.processStatus(BalanceEventProcessor.java:159) at ru.bitel.bgbilling.kernel.event.processors.BalanceEventProcessor.notify(BalanceEventProcessor.java:104) at ru.bitel.bgbilling.kernel.event.AbstractConsumer.notify(AbstractConsumer.java:344) at ru.bitel.bgbilling.kernel.event.Consumer.notify(Consumer.java:1) at ru.bitel.bgbilling.kernel.event.Consumer.onMessage0(Consumer.java:112) at ru.bitel.bgbilling.kernel.event.Consumer$EventListenerRunnable.runImpl(Consumer.java:51) at ru.bitel.common.worker.WorkerTask.run(WorkerTask.java:86) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(Unknown Source) at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source) at java.lang.Thread.run(Unknown Source) at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40) |
|
| Автор: | ok-2004 [ 24 окт 2013, 11:10 ] |
| Заголовок сообщения: | Re: [6.0]server.error.log |
у меня такая ситуация наблюдается в одно и тоже время, которое совпадает с бэкапом базы по percona xtrabackup, я думаю - конкуретные локи.... но больще напрягает вот такой-вот выхлоп: Код: server 10-19/14:38:55 ERROR ["http-bio-/0.0.0.0-8080"-exec-8] DefaultServerSetup - Many statements was open at connection close: com.mysql.jdbc.ServerPreparedStatement[108782] - SELECT * FROM ip_resource_range_1 WHERE (date1 IS NULL OR date1<='2013-10-19') AND (date2 IS NULL OR date1>='2013-10-19') com.mysql.jdbc.ServerPreparedStatement[108783] - SELECT * FROM ipn_user_range_1 WHERE resource_id=1 AND (date1 IS NULL OR date1<='2013-10-19') AND (date2 IS NULL OR date2>='2013-10-19') ORDER BY addr1 com.mysql.jdbc.ServerPreparedStatement[108784] - SELECT * FROM ipn_user_range_1 WHERE resource_id=88 AND (date1 IS NULL OR date1<='2013-10-19') AND (date2 IS NULL OR date2>='2013-10-19') ORDER BY addr1 ....... и кол-во таких строчек с "ServerPreparedStatement" равно кол-ву юзеров, оставшихся на страром модуле ipn ( а их к сожалению ещё много Или вот такой: Код: server 10-23/00:23:50 ERROR ["http-bio-/0.0.0.0-8080"-exec-4] XSLManager - ClientAbortException: java.net.SocketException: Broken pipe at org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:333) at org.apache.catalina.connector.OutputBuffer.flush(OutputBuffer.java:299) at org.apache.catalina.connector.CoyoteOutputStream.flush(CoyoteOutputStream.java:103) at ru.bitel.bgbilling.kernel.container.web.action.XSLManager.transform(XSLManager.java:310) at bitel.billing.server.WebExecuter.doPost(WebExecuter.java:339) at bitel.billing.server.WebExecuter.doGet(WebExecuter.java:79) at javax.servlet.http.HttpServlet.service(HttpServlet.java:621) at javax.servlet.http.HttpServlet.service(HttpServlet.java:722) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:304) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) at ru.bitel.server.servlet.filters.MultipartFilter.doFilter(MultipartFilter.java:42) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) at ru.bitel.server.servlet.filters.XSSFilter.doFilter(XSSFilter.java:89) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) at bitel.billing.server.filters.BGAuthFilter.doFilter(BGAuthFilter.java:296) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) at bitel.billing.server.filters.SetCharacterEncodingFilter.doFilter(SetCharacterEncodingFilter.java:48) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) at bitel.billing.server.filters.SetCharacterEncodingFilter.doFilter(SetCharacterEncodingFilter.java:48) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:240) at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:164) at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:462) at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:563) at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:164) at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:100) at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:118) at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:403) at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:301) at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:162) at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:309) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:895) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918) at java.lang.Thread.run(Thread.java:662) Caused by: java.net.SocketException: Broken pipe at java.net.SocketOutputStream.socketWrite0(Native Method) at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:92) at java.net.SocketOutputStream.write(SocketOutputStream.java:136) at org.apache.coyote.http11.InternalOutputBuffer.realWriteBytes(InternalOutputBuffer.java:218) at org.apache.tomcat.util.buf.ByteChunk.flushBuffer(ByteChunk.java:437) at org.apache.coyote.http11.InternalOutputBuffer.flush(InternalOutputBuffer.java:121) at org.apache.coyote.http11.AbstractHttp11Processor.action(AbstractHttp11Processor.java:738) at org.apache.coyote.Response.action(Response.java:170) at org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:328) без всяких видимых причин, при этом у оператора отваливается ГУЙ... ( на некоторое время ) |
|
| Автор: | Yarlan Zey [ 24 окт 2013, 11:43 ] |
| Заголовок сообщения: | Re: [6.0]server.error.log |
у нас все на ipn пока что... в базу никто помимо бг не ломится. зависает - в моем случае перестает работать клиент (отваливается ГУЙ) |
|
| Автор: | stark [ 30 окт 2013, 18:58 ] |
| Заголовок сообщения: | Re: [6.0]server.error.log |
ok-2004 писал(а): у меня такая ситуация наблюдается в одно и тоже время, которое совпадает с бэкапом базы по percona xtrabackup, я думаю - конкуретные локи.... но больще напрягает вот такой-вот выхлоп: Код: server 10-19/14:38:55 ERROR ["http-bio-/0.0.0.0-8080"-exec-8] DefaultServerSetup - Many statements was open at connection close: com.mysql.jdbc.ServerPreparedStatement[108782] - SELECT * FROM ip_resource_range_1 WHERE (date1 IS NULL OR date1<='2013-10-19') AND (date2 IS NULL OR date1>='2013-10-19') com.mysql.jdbc.ServerPreparedStatement[108783] - SELECT * FROM ipn_user_range_1 WHERE resource_id=1 AND (date1 IS NULL OR date1<='2013-10-19') AND (date2 IS NULL OR date2>='2013-10-19') ORDER BY addr1 com.mysql.jdbc.ServerPreparedStatement[108784] - SELECT * FROM ipn_user_range_1 WHERE resource_id=88 AND (date1 IS NULL OR date1<='2013-10-19') AND (date2 IS NULL OR date2>='2013-10-19') ORDER BY addr1 ....... и кол-во таких строчек с "ServerPreparedStatement" равно кол-ву юзеров, оставшихся на страром модуле ipn ( а их к сожалению ещё много Исправлено, будет в следующем обновлении. |
|
| Автор: | stark [ 31 окт 2013, 14:09 ] |
| Заголовок сообщения: | Re: [6.0]server.error.log |
ok-2004 писал(а): Или вот такой: [code] server 10-23/00:23:50 ERROR ["http-bio-/0.0.0.0-8080"-exec-4] XSLManager - ClientAbortException: java.net.SocketException: Broken pipe at org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:333) at org.apache.catalina.connector.OutputBuffer.flush(OutputBuffer.java:299) at org.apache.catalina.connector.CoyoteOutputStream.flush(CoyoteOutputStream.java:103) at r Обычно это бывает в тех случаях, когда клиент устал ждать и закрывает соединение. Всегда считали некритичной ошибкой . Другой вопрос - почему он устал ждать , может каким-то запросом решил сразу пол базы выгрузить или очень сложный отчет запустил, который сервер подвесил. |
|
| Автор: | stark [ 31 окт 2013, 14:18 ] |
| Заголовок сообщения: | Re: [6.0]server.error.log |
Yarlan Zey писал(а): в принципе все работает, но раз в несколько дней зависает... перезапуск службы bgbiling (без шедулера и даталоадера) помогает В момент зависания снимите jtsack с процесса биллинга и выложите сюда или прикрепите в helpdesk. Желательно несколько раз снять jstack c интервалом секунд в 30. Еще никаких ошибок типа java heap space , или Java perm gen space ( на 5.2/6.0 часто вылетает если не увеличить параметры\ запуска XX:MaxPermSize). |
|
| Автор: | Yarlan Zey [ 31 окт 2013, 14:33 ] |
| Заголовок сообщения: | Re: [6.0]server.error.log |
stark писал(а): В момент зависания снимите jtsack с процесса биллинга и выложите сюда или прикрепите в helpdesk. можно дословно команду? stark писал(а): Еще никаких ошибок типа java heap space , или Java perm gen space ( на 5.2/6.0 часто вылетает если не увеличить параметры\ запуска XX:MaxPermSize). MEMORY="-Xmx25600m -XX:MaxPermSize=12800m" free total used free shared buffers cached Mem: 32947180 5998776 26948404 0 280608 1386000 |
|
| Автор: | stark [ 05 ноя 2013, 12:59 ] |
| Заголовок сообщения: | Re: [6.0]server.error.log |
Yarlan Zey писал(а): можно дословно команду? Код: jstack <код проецесса> http://wiki.bgbilling.ru/index.php/%D0% ... 0%B8%D0%B9 |
|
| Страница 1 из 1 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
| Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |
|