BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 20 апр 2024, 06:49

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 18 ] 
Автор Сообщение
 Заголовок сообщения: BGDataLoader отъедает всю память.
СообщениеДобавлено: 16 июл 2012, 14:34 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
Версии
Код:
  Клиент: вер. 5.2 сборка 1011 от 13.07.2012 19:06:57
    os: Windows 7; java: Java HotSpot(TM) Client VM, v.1.6.0_33
  Сервер: вер. 5.2 сборка 1237 от 13.07.2012 17:32:31
    os: Linux; java: Java HotSpot(TM) Client VM, v.1.6.0_33
  assist вер. 5.2 сборка 82 от 09.07.2012 17:11:25
  bill вер. 5.2 сборка 269 от 13.07.2012 17:32:21
  card вер. 5.2 сборка 180 от 13.07.2012 17:32:22
  email вер. 5.2 сборка 166 от 08.06.2012 13:41:32
  gorod вер. 5.2 сборка 149 от 17.05.2012 15:29:04
  mps вер. 5.2 сборка 152 от 13.07.2012 17:32:45
  npay вер. 5.2 сборка 185 от 13.07.2012 17:32:46
  phone вер. 5.2 сборка 242 от 13.07.2012 17:32:46
  reports вер. 5.2 сборка 178 от 28.06.2012 14:17:45
  ru.bitel.bgbilling.plugins.crm вер. 5.2 сборка 184 от 13.07.2012 17:32:47


Есть такой косяк. BGDataLoader при больших переобсчетах модуля phone отжирает всю свободную память на сервере (пусть там хоть 8G будет), после того как память заканчивается
Вложение:
2.PNG
2.PNG [ 22.45 КБ | Просмотров: 7012 ]
, начинаются тормоза переобсчета (очень долго считает), почти невозможно работать в клиенте и почти невозможно работать в консоли.
После окончания переобсчета память не высвобождается.
Вложение:
1.PNG
1.PNG [ 173.7 КБ | Просмотров: 7012 ]
Процесс 21715
Код:
21715 pts/0    SNl    2:36 /usr/java/jdk/bin/java -Dnetworkaddress.cache.ttl=3600 -Djava.net.preferIPv4Stack=true -Djava.endorsed.dirs=./lib/endorsed:/usr/java/jdk/lib/endorsed -Dboot.info=1 -Dapp.name=BGDataLoader -Dlog4j.configuration=data/log4j.xml -Dlog.dir.path=log/ -Dlog.prefix=dataloader -Xmx1024m -cp .:./lib/ext/bgcommon-boot.jar ru.bitel.common.bootstrap.Boot bitel.billing.server.DataLoader -estart

При попытке обсчитать со "съеденной" памятью тормоза, работать невозможно и проч.
Лечится только перезапуском.
Каким-то образом можно сделать, чтобы при окончании переобсчета память освобождалась?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 16 июл 2012, 14:40 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
В момент переобсчета
Вложение:
3.PNG
3.PNG [ 40.81 КБ | Просмотров: 7010 ]

потребленная память увеличивается


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 16 июл 2012, 14:41 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
Через некоторое время
Вложение:
4.PNG
4.PNG [ 38.73 КБ | Просмотров: 7010 ]


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 16 июл 2012, 14:50 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
Переобсчет закончился
Вложение:
5.PNG
5.PNG [ 38.75 КБ | Просмотров: 7010 ]


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 16 июл 2012, 15:54 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Там недавно добавили средства диагностики освобождения ресурсов БД. Есть ли ошибки в логе ?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 16 июл 2012, 15:57 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
stark писал(а):
Там недавно добавили средства диагностики освобождения ресурсов БД. Есть ли ошибки в логе ?


error логи все пустые.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 16 июл 2012, 18:51 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
а статус loader-а что показывает в такие моменты ?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 10:48 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
stark писал(а):
а статус loader-а что показывает в такие моменты ?



За июнь 2012 г. обсчитало 25 дней и стало все тормозить, вывод команды ждал около минуты
Код:
[root@phone BGBillingServer]# ./data_loader_status.sh
Sending 'status' on 127.0.0.1:9033
Result: DataLoader working
Started: 17.07.2012 09:38:51    Uptime: 1 d 01:09:11
Memory total: 1 037 959 168; max: 1 037 959 168; free: 355 530 136
Memory pools:
  Non-heap memory[Code Cache]: max: 33 554 432; used: 4 249 664; peek: 4 249 664
  Heap memory[Eden Space]: max: 286 326 784; used: 21 640 592; peek: 286 326 784
  Heap memory[Survivor Space]: max: 35 782 656; used: 32 271 592; peek: 35 782 656
  Heap memory[Tenured Gen]: max: 715 849 728; used: 628 516 848; peek: 664 861 200
  Non-heap memory[Perm Gen]: max: 67 108 864; used: 11 246 456; peek: 11 246 904
  Non-heap memory[Perm Gen [shared-ro]]: max: 10 485 760; used: 6 463 320; peek: 6 463 320
  Non-heap memory[Perm Gen [shared-rw]]: max: 12 582 912; used: 7 580 264; peek: 7 580 264
Thread count: 43
Trees in cache: 0
Hour logs loaded : 24; processed: 633
Connections pool to Master status Idle: 12; Active: 2; maxActive: 300; maxIdle: 20


до этого, когда нормально считает, и не тормозит:
Код:
[root@phone BGBillingServer]# ./data_loader_status.sh
Sending 'status' on 127.0.0.1:9033
Result: DataLoader working
Started: 17.07.2012 09:38:51    Uptime: 1 d 01:03:03
Memory total: 946 630 656; max: 1 037 959 168; free: 295 814 384
Memory pools:
  Non-heap memory[Code Cache]: max: 33 554 432; used: 4 204 992; peek: 4 206 336
  Heap memory[Eden Space]: max: 286 326 784; used: 211 793 496; peek: 261 226 496
  Heap memory[Survivor Space]: max: 35 782 656; used: 32 364 872; peek: 32 364 872
  Heap memory[Tenured Gen]: max: 715 849 728; used: 406 659 952; peek: 603 423 616
  Non-heap memory[Perm Gen]: max: 67 108 864; used: 11 205 992; peek: 11 246 128
  Non-heap memory[Perm Gen [shared-ro]]: max: 10 485 760; used: 6 463 320; peek: 6 463 320
  Non-heap memory[Perm Gen [shared-rw]]: max: 12 582 912; used: 7 580 264; peek: 7 580 264
Thread count: 39
Trees in cache: 0
Hour logs loaded : 24; processed: 560
Connections pool to Master status Idle: 0; Active: 14; maxActive: 300; maxIdle: 20


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 11:51 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
SVK писал(а):
stark писал(а):
Memory total: 1 037 959 168; max: 1 037 959 168; free: 355 530 136


Так у системы отъели всего 1 Гб. Причем 355 из них java не использует. И в системе всего 1 Гб. А выше, вы писали про 8 .


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 12:00 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
stark писал(а):
SVK писал(а):
stark писал(а):
Memory total: 1 037 959 168; max: 1 037 959 168; free: 355 530 136


Так у системы отъели всего 1 Гб. Причем 355 из них java не использует. И в системе всего 1 Гб. А выше, вы писали про 8 .


Негру дай палец - он пол-руки отъест (ц). Ставили на сервер с 8G - отжирает все 8 и начинает тормозить, ничего не меняется.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 12:06 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Тормозит у вас когда подходит к одному 1 Гб и уходит в swap. Оставьте 1 Гб ограничение и добавьте физической памяти., не будет тормозить . У вас состояние до переобсчета, и после не сильно отличается . Просто чуть больше отожрало памяти и ушло в swap.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 12:08 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
SVK писал(а):
stark писал(а):
SVK писал(а):
stark писал(а):
Memory total: 1 037 959 168; max: 1 037 959 168; free: 355 530 136


Так у системы отъели всего 1 Гб. Причем 355 из них java не использует. И в системе всего 1 Гб. А выше, вы писали про 8 .


Негру дай палец - он пол-руки отъест (ц). Ставили на сервер с 8G - отжирает все 8 и начинает тормозить, ничего не меняется.


Если в -Xmx будет стоять 1 Гб, то он большет не съест. У вас будет еще 7 свободных. Не надо давать всю свободную память BGDataLoader-у.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 12:16 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
вот только сейчас. при переобсчете стало тормозить, упал activemq
Код:
[root@phone log]# ps auxw | grep java
root     16785  1.7  9.4 974936 97944 ?        Sl   11:12   1:00 /usr/java/jdk/bin/java -Dnetworkaddress.cache.ttl=3600 -Djava.net.preferIPv4Stack=true -Djava.endorsed.dirs=./lib/endorsed:/usr/java/jdk/lib/endorsed -Dboot.info=1 -Dapp.name=BGBillingServer -Dlog4j.configuration=data/log4j.xml -Dlog.dir.path=log/ -Dlog.prefix=server -Xmx768m -cp .:./lib/ext/bgcommon-boot.jar ru.bitel.common.bootstrap.Boot bitel.billing.server.Server start
root     16788  0.6  1.8 434204 19396 ?        Sl   11:12   0:24 /usr/java/jdk/bin/java -Dnetworkaddress.cache.ttl=3600 -Djava.net.preferIPv4Stack=true -Djava.endorsed.dirs=./lib/endorsed:/usr/java/jdk/lib/endorsed -Dboot.info=1 -Dapp.name=BGScheduler -Dlog4j.configuration=data/log4j.xml -Dlog.dir.path=log/ -Dlog.prefix=scheduler -Xmx256m -cp .:./lib/ext/bgcommon-boot.jar ru.bitel.common.bootstrap.Boot bitel.billing.server.TaskExecuter -estart
root     16791 17.2 76.0 1230632 787240 ?      SNl  11:12  10:10 /usr/java/jdk/bin/java -Dnetworkaddress.cache.ttl=3600 -Djava.net.preferIPv4Stack=true -Djava.endorsed.dirs=./lib/endorsed:/usr/java/jdk/lib/endorsed -Dboot.info=1 -Dapp.name=BGDataLoader -Dlog4j.configuration=data/log4j.xml -Dlog.dir.path=log/ -Dlog.prefix=dataloader -Xmx1024m -cp .:./lib/ext/bgcommon-boot.jar ru.bitel.common.bootstrap.Boot bitel.billing.server.DataLoader -estart
root     20875  0.0  0.0   4016   692 pts/2    R+   12:11   0:00 grep java


activemq.log
Код:
2012-07-18 11:45:20,242 | INFO  | Transport failed: org.apache.activemq.transport.InactivityIOException: Channel was inactive for too (>30000) long: /127.0.0.1:44804 | org.apache.activemq.broker.TransportConnection.Transport | InactivityMonitor Async Task: java.util.concurrent.ThreadPoolExecutor$Worker@164804
2012-07-18 11:48:41,114 | INFO  | Transport failed: org.apache.activemq.transport.InactivityIOException: Channel was inactive for too (>30000) long: /127.0.0.1:44806 | org.apache.activemq.broker.TransportConnection.Transport | InactivityMonitor Async Task: java.util.concurrent.ThreadPoolExecutor$Worker@18f127c


wrapper.log
Код:
INFO   | jvm 1    | 2012/07/18 11:45:25 |  INFO | Transport failed: org.apache.activemq.transport.InactivityIOException: Channel was inactive for too (>30000) long: /127.0.0.1:44804
INFO   | jvm 1    | 2012/07/18 11:48:41 |  INFO | Transport failed: org.apache.activemq.transport.InactivityIOException: Channel was inactive for too (>30000) long: /127.0.0.1:44806
ERROR  | wrapper  | 2012/07/18 11:52:34 | JVM appears hung: Timed out waiting for signal from JVM.
ERROR  | wrapper  | 2012/07/18 11:52:35 | JVM did not exit on request, terminated
INFO   | wrapper  | 2012/07/18 11:52:36 | JVM exited on its own while waiting to kill the application.
STATUS | wrapper  | 2012/07/18 11:52:36 | JVM exited in response to signal SIGKILL (9).
STATUS | wrapper  | 2012/07/18 11:52:40 | Launching a JVM...
ERROR  | wrapper  | 2012/07/18 11:53:10 | Startup failed: Timed out waiting for a signal from the JVM.
ERROR  | wrapper  | 2012/07/18 11:53:10 | JVM did not exit on request, terminated
INFO   | wrapper  | 2012/07/18 11:53:10 | JVM exited on its own while waiting to kill the application.
STATUS | wrapper  | 2012/07/18 11:53:10 | JVM exited in response to signal SIGKILL (9).
STATUS | wrapper  | 2012/07/18 11:53:14 | Launching a JVM...
ERROR  | wrapper  | 2012/07/18 11:53:45 | Startup failed: Timed out waiting for a signal from the JVM.
ERROR  | wrapper  | 2012/07/18 11:53:46 | JVM did not exit on request, terminated
INFO   | wrapper  | 2012/07/18 11:53:46 | JVM exited on its own while waiting to kill the application.
STATUS | wrapper  | 2012/07/18 11:53:46 | JVM exited in response to signal SIGKILL (9).
STATUS | wrapper  | 2012/07/18 11:53:50 | Launching a JVM...
ERROR  | wrapper  | 2012/07/18 11:54:20 | Startup failed: Timed out waiting for a signal from the JVM.
ERROR  | wrapper  | 2012/07/18 11:54:20 | JVM did not exit on request, terminated
INFO   | wrapper  | 2012/07/18 11:54:21 | JVM exited on its own while waiting to kill the application.
STATUS | wrapper  | 2012/07/18 11:54:21 | JVM exited in response to signal SIGKILL (9).
STATUS | wrapper  | 2012/07/18 11:54:25 | Launching a JVM...
ERROR  | wrapper  | 2012/07/18 11:54:55 | Startup failed: Timed out waiting for a signal from the JVM.
ERROR  | wrapper  | 2012/07/18 11:54:56 | JVM did not exit on request, terminated
INFO   | wrapper  | 2012/07/18 11:54:56 | JVM exited on its own while waiting to kill the application.
STATUS | wrapper  | 2012/07/18 11:54:56 | JVM exited in response to signal SIGKILL (9).
STATUS | wrapper  | 2012/07/18 11:55:01 | Launching a JVM...
ERROR  | wrapper  | 2012/07/18 11:55:30 | Startup failed: Timed out waiting for a signal from the JVM.
ERROR  | wrapper  | 2012/07/18 11:55:30 | JVM did not exit on request, terminated
INFO   | wrapper  | 2012/07/18 11:55:30 | JVM exited on its own while waiting to kill the application.
STATUS | wrapper  | 2012/07/18 11:55:30 | JVM exited in response to signal SIGKILL (9).
FATAL  | wrapper  | 2012/07/18 11:55:30 | There were 5 failed launches in a row, each lasting less than 300 seconds.  Giving up.
FATAL  | wrapper  | 2012/07/18 11:55:30 |   There may be a configuration problem: please check the logs.
STATUS | wrapper  | 2012/07/18 11:55:30 | <-- Wrapper Stopped


dataloader.error.log
Код:
 07-18/12:11:35 ERROR [pool-1-thread-8] dataloader - Communications link failure

The last packet successfully received from the server was 39,131 milliseconds ago.  The last packet sent successfully to the server was 39,131 milliseconds ago.
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet successfully received from the server was 39,131 milliseconds ago.  The last packet sent successfully to the server was 39,131 milliseconds ago.
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
        at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1116)
        at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3364)
        at com.mysql.jdbc.MysqlIO.sendFileToServer(MysqlIO.java:3456)
        at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:2629)
        at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1800)
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2221)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2624)
        at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2127)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2427)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2345)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2330)
        at org.apache.commons.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:105)
        at ru.bitel.bgbilling.modules.phone.server.DataProcess$Inserter.run(DataProcess.java:405)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.net.SocketException: Broken pipe
        at java.net.SocketOutputStream.socketWrite0(Native Method)
        at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:92)
        at java.net.SocketOutputStream.write(SocketOutputStream.java:136)
        at java.io.BufferedOutputStream.write(BufferedOutputStream.java:105)
        at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3343)
        ... 14 more
 07-18/12:11:36 ERROR [pool-1-thread-8] dataloader - No operations allowed after connection closed.
com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: No operations allowed after connection closed.
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
        at com.mysql.jdbc.Util.getInstance(Util.java:386)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1013)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:987)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:982)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:927)
        at com.mysql.jdbc.ConnectionImpl.throwConnectionClosedException(ConnectionImpl.java:1205)
        at com.mysql.jdbc.ConnectionImpl.checkClosed(ConnectionImpl.java:1197)
        at com.mysql.jdbc.ConnectionImpl.prepareStatement(ConnectionImpl.java:4186)
        at com.mysql.jdbc.ConnectionImpl.prepareStatement(ConnectionImpl.java:4152)
        at org.apache.commons.dbcp.DelegatingConnection.prepareStatement(DelegatingConnection.java:281)
        at ru.bitel.bgbilling.server.util.PoolGuardConnectionWrapper.prepareStatement(PoolGuardConnectionWrapper.java:200)
        at ru.bitel.bgbilling.modules.phone.server.DataProcess$Inserter.run(DataProcess.java:424)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet successfully received from the server was 39,131 milliseconds ago.  The last packet sent successfully to the server was 39,131 milliseconds ago.
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
        at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1116)
        at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3364)
        at com.mysql.jdbc.MysqlIO.sendFileToServer(MysqlIO.java:3456)
        at com.mysql.jdbc.MysqlIO.readResultsForQueryOrUpdate(MysqlIO.java:2629)
        at com.mysql.jdbc.MysqlIO.readAllResults(MysqlIO.java:1800)
        at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2221)
        at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2624)
        at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2127)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2427)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2345)
        at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2330)
        at org.apache.commons.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:105)
        at ru.bitel.bgbilling.modules.phone.server.DataProcess$Inserter.run(DataProcess.java:405)
        ... 3 more
Caused by: java.net.SocketException: Broken pipe
        at java.net.SocketOutputStream.socketWrite0(Native Method)
        at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:92)
        at java.net.SocketOutputStream.write(SocketOutputStream.java:136)
        at java.io.BufferedOutputStream.write(BufferedOutputStream.java:105)
        at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3343)
        ... 14 more


server.error.log
Код:
server 07-18/11:45:27 ERROR [Thread-16] LoggingPrintStream - Exception in thread "Thread-16"
server 07-18/11:45:30 ERROR [Thread-16] LoggingPrintStream - java.lang.NullPointerException
server 07-18/11:45:30 ERROR [Thread-16] LoggingPrintStream -    at com.mysql.jdbc.StatementImpl$CancelTask$1.run(StatementImpl.java:108)
server 07-18/11:45:30 ERROR [Thread-17] LoggingPrintStream - Exception in thread "Thread-17"
server 07-18/11:45:32 ERROR [Thread-17] LoggingPrintStream - java.lang.NullPointerException
server 07-18/11:45:32 ERROR [Thread-17] LoggingPrintStream -    at com.mysql.jdbc.StatementImpl$CancelTask$1.run(StatementImpl.java:108)
server 07-18/11:53:47 ERROR [Thread-18] LoggingPrintStream - Exception in thread "Thread-18"
server 07-18/11:53:59 ERROR [Thread-18] LoggingPrintStream - java.lang.NullPointerException
server 07-18/11:54:00 ERROR [Thread-18] LoggingPrintStream -    at com.mysql.jdbc.StatementImpl$CancelTask$1.run(StatementImpl.java:108)
server 07-18/12:01:36 ERROR ["http-bio-/0.0.0.0-8080"-exec-3] XSLManager -
ClientAbortException:  java.net.SocketException: Broken pipe
        at org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:333)
        at org.apache.catalina.connector.OutputBuffer.flush(OutputBuffer.java:299)
        at org.apache.catalina.connector.CoyoteOutputStream.flush(CoyoteOutputStream.java:103)
        at ru.bitel.bgbilling.kernel.container.web.action.XSLManager.transform(XSLManager.java:310)
        at bitel.billing.server.PublicExecuter.doPost(PublicExecuter.java:96)
        at bitel.billing.server.PublicExecuter.doGet(PublicExecuter.java:32)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:621)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:722)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:304)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210)
        at org.apache.catalina.core.ApplicationDispatcher.invoke(ApplicationDispatcher.java:684)
        at org.apache.catalina.core.ApplicationDispatcher.processRequest(ApplicationDispatcher.java:471)
        at org.apache.catalina.core.ApplicationDispatcher.doForward(ApplicationDispatcher.java:402)
        at org.apache.catalina.core.ApplicationDispatcher.forward(ApplicationDispatcher.java:329)
        at bitel.billing.server.filters.BGAuthFilter.error(BGAuthFilter.java:456)
        at bitel.billing.server.filters.BGAuthFilter.doFilter(BGAuthFilter.java:290)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210)
        at bitel.billing.server.filters.SetCharacterEncodingFilter.doFilter(SetCharacterEncodingFilter.java:48)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210)
        at bitel.billing.server.filters.SetCharacterEncodingFilter.doFilter(SetCharacterEncodingFilter.java:48)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210)
        at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:240)
        at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:164)
        at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:462)
        at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:563)
        at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:164)
        at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:100)
        at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:118)
        at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:403)
        at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:301)
        at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:162)
        at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:140)
        at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:309)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)
Caused by: java.net.SocketException: Broken pipe
        at java.net.SocketOutputStream.socketWrite0(Native Method)
        at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:92)
        at java.net.SocketOutputStream.write(SocketOutputStream.java:136)
        at org.apache.coyote.http11.InternalOutputBuffer.realWriteBytes(InternalOutputBuffer.java:218)
        at org.apache.tomcat.util.buf.ByteChunk.flushBuffer(ByteChunk.java:437)
        at org.apache.coyote.http11.InternalOutputBuffer.flush(InternalOutputBuffer.java:121)
        at org.apache.coyote.http11.AbstractHttp11Processor.action(AbstractHttp11Processor.java:738)
        at org.apache.coyote.Response.action(Response.java:170)
        at org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:328)
        ... 38 more


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 12:56 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Выложил обновление для Daloder-a. Там после чтения файлов не закрывались ресурсы. Возможно это поможет


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 13:55 
Не в сети

Зарегистрирован: 27 мар 2007, 10:43
Сообщения: 276
Откуда: Уфа
Карма: 0
stark писал(а):
Выложил обновление для Daloder-a. Там после чтения файлов не закрывались ресурсы. Возможно это поможет



тоже самое
Код:
Необходимо срочно восстановить соединение с Master базой.

com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet successfully received from the server was 15,976 milliseconds ago.  The last packet sent successfully to the server was 6,668 milliseconds ago.
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
        at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1116)
        at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3102)
        at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:2991)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3532)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:943)
        at com.mysql.jdbc.MysqlIO.secureAuth411(MysqlIO.java:4113)
        at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1308)
        at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2336)
        at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2369)
        at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2153)
        at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:792)
        at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:47)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
        at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:381)
        at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:305)
        at java.sql.DriverManager.getConnection(DriverManager.java:582)
        at java.sql.DriverManager.getConnection(DriverManager.java:185)
        at org.apache.commons.dbcp.DriverManagerConnectionFactory.createConnection(DriverManagerConnectionFactory.java:75)
        at ru.bitel.bgbilling.server.util.DefaultServerSetup$2.makeObject(DefaultServerSetup.java:439)
        at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1188)
        at ru.bitel.bgbilling.server.util.DefaultServerSetup$ConnectionPool$1.getConnection(DefaultServerSetup.java:180)
        at ru.bitel.bgbilling.server.util.DefaultServerSetup.getDBConnectionFromPool(DefaultServerSetup.java:633)
        at bitel.billing.server.task.TaskRunProcessor.run(TaskRunProcessor.java:45)
Caused by: java.io.EOFException: Can not read response from server. Expected to read 4 bytes, read 0 bytes before connection was unexpectedly lost.
        at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:2552)
        at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3002)
        ... 25 more


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 18 июл 2012, 14:09 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
По поводу соединения c mysql - попробуйте так же, как в радиусе, увеличить значение в data.properties connectTimeout=1000 на connectTimeout=10000.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 31 янв 2013, 12:40 
Не в сети

Зарегистрирован: 15 фев 2012, 20:24
Сообщения: 88
Карма: 0
stark писал(а):
Если в -Xmx будет стоять 1 Гб, то он большет не съест. У вас будет еще 7 свободных. Не надо давать всю свободную память BGDataLoader-у.


Напомните пожалуйста о каком ограничении идет речь? У меня похожая проблема, помню что где то когда то настраивал ограничения, но сейчас некогда/нехочется перелопачивать документацию.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: BGDataLoader отъедает всю память.
СообщениеДобавлено: 31 янв 2013, 16:53 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
ivasian писал(а):
stark писал(а):
Если в -Xmx будет стоять 1 Гб, то он большет не съест. У вас будет еще 7 свободных. Не надо давать всю свободную память BGDataLoader-у.


Напомните пожалуйста о каком ограничении идет речь? У меня похожая проблема, помню что где то когда то настраивал ограничения, но сейчас некогда/нехочется перелопачивать документацию.


количество памяти доступной java-приложению. настраивается в sh-файле запуска.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 18 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.182s | 58 Queries | GZIP : On ]