BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 23 май 2024, 10:13

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Модули Интернета » Модуль Inet

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 18 ] 
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
Brodayga
СообщениеДобавлено: 21 июл 2015, 14:43 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
Код:
Kernel version 6.1.1075 / 28.05.2015 23:46:34
Inet version 6.1.695 / 28.05.2015 23:46:47

Каждый спад это перезапуск.


Вложения:
bg.png
bg.png [ 16.19 КБ | Просмотров: 6906 ]
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 21 июл 2015, 15:41 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
а какие файлы в основном держит можете посмотреть ? netflow - логи ?
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 21 июл 2015, 17:08 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
Код:
lsof -p `cat /usr/local/BGInetAccess/.run/access.pid`|grep 'BGInetAccess/data/dhcp/' -c

4056
Код:
lsof -p `cat /usr/local/BGInetAccess/.run/access.pid`|wc -l
4253
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 21 июл 2015, 18:42 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
а там файлы вообще не закрываются ? В логах ошибок нет?
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 23 июл 2015, 03:21 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
stark писал(а):
а там файлы вообще не закрываются ?

Это вопрос к разработчикам :) . Как узнать закрываются ли они вообще? Я так понимаю закрываются(количество иногда уменьшается видно по графику),но не все которые должны иначе зачем аксесу держать открытыми 30 тысяч.
stark писал(а):
В логах ошибок нет?

Есть, по графику нашёл большой скачёк в это время ошибки связанные с логером .. их очень много.
Код:
dhcp 07-21/15:30:59 ERROR [DhcpListener] DatagramListener - dhcpLstnr queue is full!
dhcp 07-21/15:31:00 ERROR [hrlydtlggr-p-9-t-1] HourlyDataLoggerTracker -
java.nio.channels.ClosedByInterruptException
        at java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:202)
        at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:210)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.deflate(ZLIBWritableChannel.java:93)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.write(ZLIBWritableChannel.java:80)
        at ru.bitel.bgbilling.kernel.base.server.datalog.DataLogWriter.writeBuffer(DataLogWriter.java:42)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLogWriter.flush(BGDataLogWriter.java:100)
        at ru.bitel.bgbilling.kernel.network.dhcp.datalog.DhcpDataLog$1.flush(DhcpDataLog.java:83)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLog.close(BGDataLog.java:772)
        at ru.bitel.bgbilling.kernel.network.dhcp.datalog.DhcpDataLog.close(DhcpDataLog.java:121)
        at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLogEntry.close(HourlyDataLogEntry.java:76)
        at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLoggerTracker$2.call(HourlyDataLoggerTracker.java:103)
        at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLoggerTracker$2.call(HourlyDataLoggerTracker.java:1)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:46)
dhcp 07-21/15:31:00 ERROR [hrlydtlggr-p-9-t-1] HourlyDataLoggerTracker -
java.nio.channels.ClosedByInterruptException
        at java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:202)
        at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:210)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.deflate(ZLIBWritableChannel.java:93)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.write(ZLIBWritableChannel.java:80)
        at ru.bitel.bgbilling.kernel.base.server.datalog.DataLogWriter.writeBuffer(DataLogWriter.java:42)
...
...
...


Вложения:
bg.png
bg.png [ 27.37 КБ | Просмотров: 6880 ]


Последний раз редактировалось Brodayga 23 июл 2015, 03:38, всего редактировалось 1 раз.
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 23 июл 2015, 03:24 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
На всякий случай
Код:
lsof -p `cat /usr/local/BGInetAccess/.run/access.pid`|grep 'BGInetAccess/data/dhcp/' -c
7871

Код:
lsof -p `cat /usr/local/BGInetAccess/.run/access.pid`|wc -l
8488
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 23 июл 2015, 13:52 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Brodayga писал(а):
stark писал(а):
а там файлы вообще не закрываются ?

Это вопрос к разработчикам :) . Как узнать закрываются ли они вообще? Я так понимаю закрываются(количество иногда уменьшается видно по графику),но не все которые должны иначе зачем аксесу держать открытыми 30 тысяч.
stark писал(а):
В логах ошибок нет?

Есть, по графику нашёл большой скачёк в это время ошибки связанные с логером .. их очень много.
Код:
dhcp 07-21/15:30:59 ERROR [DhcpListener] DatagramListener - dhcpLstnr queue is full!
dhcp 07-21/15:31:00 ERROR [hrlydtlggr-p-9-t-1] HourlyDataLoggerTracker -
java.nio.channels.ClosedByInterruptException
        at java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:202)
        at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:210)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.deflate(ZLIBWritableChannel.java:93)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.write(ZLIBWritableChannel.java:80)
        at ru.bitel.bgbilling.kernel.base.server.datalog.DataLogWriter.writeBuffer(DataLogWriter.java:42)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLogWriter.flush(BGDataLogWriter.java:100)
        at ru.bitel.bgbilling.kernel.network.dhcp.datalog.DhcpDataLog$1.flush(DhcpDataLog.java:83)
        at ru.bitel.bgbilling.kernel.base.server.datalog.BGDataLog.close(BGDataLog.java:772)
        at ru.bitel.bgbilling.kernel.network.dhcp.datalog.DhcpDataLog.close(DhcpDataLog.java:121)
        at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLogEntry.close(HourlyDataLogEntry.java:76)
        at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLoggerTracker$2.call(HourlyDataLoggerTracker.java:103)
        at ru.bitel.bgbilling.kernel.base.server.datalog.hourly.HourlyDataLoggerTracker$2.call(HourlyDataLoggerTracker.java:1)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:46)
dhcp 07-21/15:31:00 ERROR [hrlydtlggr-p-9-t-1] HourlyDataLoggerTracker -
java.nio.channels.ClosedByInterruptException
        at java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:202)
        at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:210)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.deflate(ZLIBWritableChannel.java:93)
        at ru.bitel.bgbilling.kernel.base.server.datalog.channels.ZLIBWritableChannel.write(ZLIBWritableChannel.java:80)
        at ru.bitel.bgbilling.kernel.base.server.datalog.DataLogWriter.writeBuffer(DataLogWriter.java:42)
...
...
...


Вот похоже и оно. а можете архив с логами access целиком прислать? или в helpdesk или на почту.
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 24 июл 2015, 04:11 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
А сколько у вас коммутаторов от которых идёт dhcp?
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 24 июл 2015, 14:43 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
473
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 24 июл 2015, 14:49 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
Используется схема с двумя сессиями (дшсп и ip)
и
<bean name="dhcpProcessor" class="ru.bitel.bgbilling.modules.inet.dhcp.InetDhcpProcessor2"/>
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 30 июл 2015, 17:38 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
Логи скинул. Открытых файлов за две недели аптайма уже 15000


Вложения:
bg.png
bg.png [ 15.76 КБ | Просмотров: 6822 ]
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 30 июл 2015, 17:45 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
я наделся что у вас там будут ошибки , которые вы приводили сверху.
Цитата:
ClosedByInterruptException


Пока вижу такие зато
Цитата:
07-27/11:51:37 WARN [Finalizer] BGDataLog - DataLog was open on finalize! data/dhcp/source_263/2015/2015-07/2015-07-27/log_2015-07-27-11.003.bgdl

и такие
Цитата:
07-26/17:18:01 INFO [Dispatcher-Thread-3] HourlyDataLoggerTracker - Discarded 1 messages due to full event buffer including: Close dataLog file [/usr/local/BGInetAccess/data/dhcp/source_276/2015/2015-07/2015-07-26/log_2015-07-26-17.002.bgdl]


Изучаем.
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 30 июл 2015, 18:01 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
stark писал(а):
я наделся что у вас там будут ошибки , которые вы приводили сверху.
Цитата:
ClosedByInterruptException


в error.log.1 они есть
cat ./error.log.1 |grep ClosedByInterruptException -c
5289
stark писал(а):
Пока вижу такие зато
Цитата:
07-27/11:51:37 WARN [Finalizer] BGDataLog - DataLog was open on finalize! data/dhcp/source_263/2015/2015-07/2015-07-27/log_2015-07-27-11.003.bgdl
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 30 июл 2015, 18:02 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
на всякий случай было бы неплохо посмотреть all.log, error.log и dhcp.log. Я думал вы все логи пришлете.
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 30 июл 2015, 18:04 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
Могу предоставить доступ к машине.
Вернуться к началу
 Профиль  
 
stark
СообщениеДобавлено: 30 июл 2015, 18:13 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
Brodayga писал(а):
Могу предоставить доступ к машине.

давайте.
Вернуться к началу
 Профиль  
 
Amir
СообщениеДобавлено: 10 авг 2015, 17:27 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Выложили обновление, попытались исправить, но пока не до конца понятно, откуда там происходит interrupt.
На тестовых, соответственно, не повторяется. Т.е. утечка может остаться.

Также в inet-access.xml рекомендуем datalog.dhcp.chunk.size изменить с 131072 на 65536, чтобы уменьшить потребление памяти для InetAccess, сейчас 512Мб скорее всего только из-за этих буферов записи DHCP-логов.
Также возможно стоит уменьшить буферы MySQL, чтобы машина не уходила в swap.

Не забудьте сделать бэкап старых библиотек.
Вернуться к началу
 Профиль  
 
Brodayga
СообщениеДобавлено: 18 сен 2015, 14:18 
Не в сети
Клиент

Зарегистрирован: 28 окт 2008, 20:10
Сообщения: 259
Откуда: Махачкала
Карма: 6
Amir писал(а):
Выложили обновление, попытались исправить, но пока не до конца понятно, откуда там происходит interrupt.
На тестовых, соответственно, не повторяется. Т.е. утечка может остаться.

Также в inet-access.xml рекомендуем datalog.dhcp.chunk.size изменить с 131072 на 65536, чтобы уменьшить потребление памяти для InetAccess, сейчас 512Мб скорее всего только из-за этих буферов записи DHCP-логов.
Также возможно стоит уменьшить буферы MySQL, чтобы машина не уходила в swap.

Не забудьте сделать бэкап старых библиотек.

Забыл отписаться. Количество открытых файлов перестало расти. Спасибо.
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 1
  [ Сообщений: 18 ] 

Список форумов » BGBilling » Модули Интернета » Модуль Inet

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.052s | 55 Queries | GZIP : On ]