forum.bitel.ru • Просмотр темы - Sheduler и оператива

Сообщения без ответов | Активные темы

Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]

Sheduler и оператива

Страница 1 из 1

[ Сообщений: 13 ]

Версия для печати

Пред. тема | След. тема

Автор

Сообщение

aiwbend

Заголовок сообщения: Sheduler и оператива

Добавлено: 01 фев 2012, 16:25

Зарегистрирован: 20 апр 2011, 09:56
Сообщения: 346
Карма: 19

Доброго времени суток.

Шедулер съедает весь, выделенный ему, 1GB памяти.
судя по логам как понял память утекает во время выполнения Проверки шлюзов IPN.

Код:

02-01/15:10:27  INFO [pool-5-thread-1] MikrotikGateWorker - Running script 
02-01/15:10:27  INFO [pool-5-thread-2] MikrotikGateWorker - Running script 
02-01/15:10:27  INFO [pool-5-thread-3] MikrotikGateWorker - Running script 
02-01/15:10:27  INFO [pool-5-thread-4] MikrotikGateWorker - Running script 
02-01/15:10:29  WARN [pool-5-thread-3] ScriptInstance - 10.147.0.3:28[OfficeNet]: using deprecated method [public final java.lang.String ru.bitel.common.Preferences.getStringValue(java.lang.String,java.lang.String)]
02-01/15:10:29  INFO [pool-5-thread-3] MikrotikGateWorker - Process time => 1593
02-01/15:10:29  INFO [pool-2-thread-1] IPNTestGates - Gate: 10.147.0.3 : 28 [ OfficeNet ] - checking end..
02-01/15:10:48  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@1ee5cdf
02-01/15:10:48  INFO [pool-1-thread-4] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Memory total: 651 034 624; max: 1 037 959 168; free: 399 629 648
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 245 568; peek: 5 245 568
Heap memory[Eden Space]: max: 286 326 784; used: 13 617 632; peek: 241 172 480
Heap memory[Survivor Space]: max: 35 782 656; used: 22 413 312; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 215 374 032; peek: 452 047 416
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 412 208; peek: 17 412 208
Thread count: 32
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Setting balances for independ and subs..
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selected.
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selecting sub account
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selected.
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Setting balance for super.. 
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Selected.
02-01/15:10:48  INFO [pool-1-thread-4] Calculator - Task finished time=15 ms.
02-01/15:11:07  INFO [pool-5-thread-1] MikrotikGateWorker - CloseRules cid=1929 rule_id=51
02-01/15:11:07  INFO [pool-5-thread-2] MikrotikGateWorker - CloseRules cid=1929 rule_id=51
02-01/15:11:22  INFO [pool-5-thread-2] MikrotikGateWorker - CloseRules cid=2834 rule_id=50
02-01/15:11:22  INFO [pool-5-thread-1] MikrotikGateWorker - CloseRules cid=2834 rule_id=50
02-01/15:11:25  INFO [pool-5-thread-4] MikrotikGateWorker - OpenRules cid=73235 rule_id=61
02-01/15:11:26  INFO [pool-5-thread-2] MikrotikGateWorker - OpenRules cid=15344 rule_id=50
02-01/15:11:27  INFO [pool-5-thread-1] MikrotikGateWorker - OpenRules cid=15344 rule_id=50
02-01/15:11:31  INFO [pool-5-thread-4] MikrotikGateWorker - Process time => 64281
02-01/15:11:32  INFO [pool-2-thread-1] IPNTestGates - Gate: 62.32.76.86 : 28 [ Mikrotik, Myski-GRES ] - checking end..
02-01/15:11:48  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@9580c8
02-01/15:11:48  INFO [pool-1-thread-5] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Memory total: 651 034 624; max: 1 037 959 168; free: 131 252 760
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 273 728; peek: 5 273 728
Heap memory[Eden Space]: max: 286 326 784; used: 52 484 688; peek: 241 172 480
Heap memory[Survivor Space]: max: 35 782 656; used: 22 413 304; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 444 883 872; peek: 452 047 416
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 420 928; peek: 17 420 928
Thread count: 32
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Setting balances for independ and subs..
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selected.
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selecting sub account
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selected.
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Setting balance for super.. 
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Selected.
02-01/15:11:48  INFO [pool-1-thread-5] Calculator - Task finished time=32 ms.
02-01/15:12:07  INFO [pool-5-thread-2] MikrotikGateWorker - OpenRules cid=73235 rule_id=50
02-01/15:12:10  INFO [pool-5-thread-1] MikrotikGateWorker - Process time => 103375
02-01/15:12:11  INFO [pool-2-thread-1] IPNTestGates - Gate: 10.147.0.134 : 28 [ Shaper 2 ] - checking end..
02-01/15:12:12  INFO [pool-5-thread-2] MikrotikGateWorker - Process time => 104516
02-01/15:12:13  INFO [pool-2-thread-1] IPNTestGates - Gate: 10.147.0.240 : 28 [ Shaper ] - checking end..
02-01/15:12:14  INFO [pool-2-thread-1] IPNTestGates - Locked clients:
02-01/15:12:14  INFO [pool-2-thread-1] IPNTestGates - 1782;balance:-74.70;limit:0.00
2368;balance:-5.72;limit:0.00

02-01/15:12:16  INFO [pool-2-thread-1] IPNTestGates - Task finished time=132828 ms.
02-01/15:12:38  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@15970f4
02-01/15:12:38  INFO [pool-1-thread-3] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Memory total: 1 037 959 168; max: 1 037 959 168; free: 306 312 376
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 275 712; peek: 5 275 712
Heap memory[Eden Space]: max: 286 326 784; used: 270 042 384; peek: 270 042 384
Heap memory[Survivor Space]: max: 35 782 656; used: 0; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 461 604 408; peek: 469 404 808
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 288 920; peek: 17 420 928
Thread count: 27
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Setting balances for independ and subs..
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selected.
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selecting sub account
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selected.
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Setting balance for super.. 
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Selected.
02-01/15:12:38  INFO [pool-1-thread-3] Calculator - Task finished time=47 ms.
02-01/15:12:48  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@1969c8a
02-01/15:12:48  INFO [pool-1-thread-1] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Memory total: 1 037 959 168; max: 1 037 959 168; free: 303 740 120
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 275 712; peek: 5 275 712
Heap memory[Eden Space]: max: 286 326 784; used: 272 614 640; peek: 272 614 640
Heap memory[Survivor Space]: max: 35 782 656; used: 0; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 461 604 408; peek: 469 404 808
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 288 920; peek: 17 420 928
Thread count: 28
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Setting balances for independ and subs..
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selected.
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selecting sub account
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selected.
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Setting balance for super.. 
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Selected.
02-01/15:12:48  INFO [pool-1-thread-1] Calculator - Task finished time=16 ms.
02-01/15:13:03  INFO [Thread-9] TaskRunProcessor - Running Task: bitel.billing.server.npay.Recalculator@176a31d
02-01/15:13:03  INFO [pool-1-thread-2] Recalculator - PaymentRecalculator time: 01.02.2012 23
02-01/15:13:03  INFO [pool-1-thread-2] Calculator - Memory total: 1 037 959 168; max: 1 037 959 168; free: 302 468 928
Memory pools:
Non-heap memory[Code Cache]: max: 33 554 432; used: 5 275 712; peek: 5 275 712
Heap memory[Eden Space]: max: 286 326 784; used: 273 885 832; peek: 273 885 832
Heap memory[Survivor Space]: max: 35 782 656; used: 0; peek: 30 081 024
Heap memory[Tenured Gen]: max: 715 849 728; used: 461 604 408; peek: 469 404 808
Non-heap memory[Perm Gen]: max: 67 108 864; used: 17 288 920; peek: 17 420 928
Thread count: 27

в итоге рано или поздно он зависает и помогает только закрытие процесса и запуск службы, и по новой.
Нормальное ли это поведение, мб просто нужно озу побольше? или утечка где-то?

Вернуться к началу

Дмитрий

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 02 фев 2012, 15:05

Клиент

Зарегистрирован: 15 июл 2011, 12:20
Сообщения: 201
Откуда: Челябинск
Карма: 0

aiwbend писал(а):

Доброго времени суток.

Шедулер съедает весь, выделенный ему, 1GB памяти.
судя по логам как понял память утекает во время выполнения Проверки шлюзов IPN.

[skip]

в итоге рано или поздно он зависает и помогает только закрытие процесса и запуск службы, и по новой.
Нормальное ли это поведение, мб просто нужно озу побольше? или утечка где-то?

попробуй выделить 2гига, было подобрано экспериментальным тыком пальцем в небо, после чего планировщик не вешается и не жалуется на недостаток памяти.

_________________
Клиент: 7.2.395 / 27.08.2020 04:26:27
Сервер: 7.2.1268 / 27.08.2020 04:26:38

Вернуться к началу

skyb

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 02 фев 2012, 15:30

Клиент

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241

у меня 3 гига, но и 2500+ комутов
да, топикстартер зайдите в конфу у меня в подписи, помогут быстрей

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений

Вернуться к началу

Cromeshnic

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 03 фев 2012, 06:54

Клиент

Зарегистрирован: 20 апр 2009, 12:03
Сообщения: 3092
Откуда: Иркутск
Карма: 338

Вложение:

graph_image.png [ 65.12 КБ | Просмотров: 5616 ]

Вернуться к началу

JIoIIIaDka

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 06 апр 2015, 12:15

Клиент

Зарегистрирован: 27 апр 2010, 13:26
Сообщения: 108
Откуда: Kirov
Карма: 0

Подниму немного тему.
Начало подъема - запуск переобсчета сессий voip. Спад - перезагрузка шедулера. Я так понимаю сам он память не отдает назад ? Так и должно быть или это проблема 5.1 ?

Вложения:

snapshot19.png [ 18.68 КБ | Просмотров: 5383 ]

Вернуться к началу

dimOn

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 06 апр 2015, 12:26

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244

В общем случае не отдаёт, пока не будет недостачи в другом месте этого приложения и не будет запущен GC.
Этот вопрос решается в рамках ограничений памяти заданных опциями при старте jvm.

_________________
I'm clever. I've got a computer.

Вернуться к началу

stark

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 06 апр 2015, 12:37

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

JIoIIIaDka писал(а):

Покажите что показывает

Код:

./scheduler_status.sh

до перезагрузки.
попробуйте вызвать

Код:

./scheduler.sh -egc

несколько раз и потом снова

Код:

./scheduler_status.sh

чтобы узнать что изменилось.

Вернуться к началу

JIoIIIaDka

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 07 апр 2015, 14:22

Клиент

Зарегистрирован: 27 апр 2010, 13:26
Сообщения: 108
Откуда: Kirov
Карма: 0

запуск пересчета небольшой группы (Сессий обработано => 1851) - память дрогнула еле заметно

Код:

./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 01:27:11
Memory total: 49 283 072; max: 238 616 576; free: 35 207 736
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 1 771 584; peek: 1 782 400
Heap memory[PS Eden Space]: max: 87 031 808; used: 1 777 960; peek: 15 794 176
Heap memory[PS Survivor Space]: max: 1 179 648; used: 98 304; peek: 2 069 168
Heap memory[PS Old Gen]: max: 178 978 816; used: 12 199 072; peek: 12 199 072
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 638 640; peek: 17 638 640
Thread count: 23
Trees in cache: 5
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 1; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50

запуск пересчета другой группы (Сессий обработано => 4571) - прилетел "[BGScheduler] Недостаток памяти системы"
Зарезервировано 222298112 из 238616576 (максимум) байтов памяти. Сейчас свободно: 57152672 байтов.

Код:

./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 01:32:17
Memory total: 198 639 616; max: 238 616 576; free: 36 192 816
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 2 584 704; peek: 2 595 456
Heap memory[PS Eden Space]: max: 86 966 272; used: 5 431 992; peek: 19 464 192
Heap memory[PS Survivor Space]: max: 196 608; used: 135 176; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 156 879 632; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 709 136; peek: 17 709 136
Thread count: 25
Trees in cache: 6
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 2; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50

./scheduler.sh -egc (4 раза)

Код:

./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 01:36:46
Memory total: 198 574 080; max: 238 616 576; free: 125 200 752
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 2 585 600; peek: 2 596 352
Heap memory[PS Eden Space]: max: 88 670 208; used: 437 640; peek: 19 464 192
Heap memory[PS Survivor Space]: max: 65 536; used: 0; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 72 935 688; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 710 816; peek: 17 744 008
Thread count: 26
Trees in cache: 6
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 3; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50

Спад на графике по времени примерно равен запуску ./scheduler.sh -egc
Used - фиолетовый, Comitted - красный.

Вложения:

snapshot20.png [ 13.16 КБ | Просмотров: 5364 ]

Вернуться к началу

stark

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 07 апр 2015, 17:30

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

не похоже на утечку.. А если несколько раз подряд по этой группе запустить и потом gc . Память все время растете или нет?
Скорее всего для запуска задачи требуется много памяти, а потом она освобождается.

Вернуться к началу

stark

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 07 апр 2015, 17:33

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

как вариант еще возможно у нас там PreparedStatemet-ы не закрываеются, это не приводит к глобальными утечкам, но во время работы задачи может потребляться больше памяти. В 5.2 у нас встроена диагностика таких случаев и часть таких мест исправлена.

Вернуться к началу

JIoIIIaDka

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 07 апр 2015, 18:16

Клиент

Зарегистрирован: 27 апр 2010, 13:26
Сообщения: 108
Откуда: Kirov
Карма: 0

Запустил эту же группу (5048 сессий) 2 раза - почти ноль реакции (около 15:00 на графике).

Код:

./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 05:25:24
Memory total: 199 688 192; max: 238 616 576; free: 120 146 472
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 2 741 440; peek: 2 764 416
Heap memory[PS Eden Space]: max: 88 080 384; used: 2 255 768; peek: 19 988 480
Heap memory[PS Survivor Space]: max: 720 896; used: 184 072; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 77 101 880; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 779 792; peek: 17 779 792
Thread count: 27
Trees in cache: 1
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 4; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50

Запустил другую группу (50126 сессий) - немного подросло (на графике около 15:04).

Код:

./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 05:33:40
Memory total: 202 702 848; max: 238 616 576; free: 66 686 488
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 3 112 576; peek: 3 123 264
Heap memory[PS Eden Space]: max: 89 063 424; used: 20 507 672; peek: 23 527 424
Heap memory[PS Survivor Space]: max: 196 608; used: 114 688; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 115 417 976; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 831 048; peek: 17 831 048
Thread count: 29
Trees in cache: 7
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 6; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50

запуск ./scheduler.sh -egc (1 раз) около 15:10

Код:

./scheduler_status.sh
Sending 'status' on 127.0.0.1:9066
Result: TaskExecuter working
Started: 06.04.2015 09:35:07    Uptime: 1 d 05:37:33
Memory total: 202 833 920; max: 238 616 576; free: 129 772 240
Memory pools:
Non-heap memory[Code Cache]: max: 50 331 648; used: 3 112 576; peek: 3 123 264
Heap memory[PS Eden Space]: max: 88 932 352; used: 113 888; peek: 23 527 424
Heap memory[PS Survivor Space]: max: 262 144; used: 0; peek: 29 818 880
Heap memory[PS Old Gen]: max: 178 978 816; used: 72 963 736; peek: 163 764 592
Non-heap memory[PS Perm Gen]: max: 67 108 864; used: 17 746 424; peek: 17 831 048
Thread count: 28
Trees in cache: 7
Periodic tasks executed: 4; active: 0
Urgent tasks executed: 6; active: 0
Connections pool to Master status Idle: 3; Active: 0; maxActive: 300; maxIdle: 50

Можно не париться?

Вложения:

snapshot22.png [ 14.29 КБ | Просмотров: 5354 ]

Вернуться к началу

stark

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 07 апр 2015, 18:24

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

Не похоже на утечку. Обновитесь на 5.2

Вернуться к началу

JIoIIIaDka

Заголовок сообщения: Re: Sheduler и оператива

Добавлено: 07 апр 2015, 18:25

Клиент

Зарегистрирован: 27 апр 2010, 13:26
Сообщения: 108
Откуда: Kirov
Карма: 0

Понятно, учтем.

Вернуться к началу

Страница 1 из 1

[ Сообщений: 13 ]

Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:

BiTel

Sheduler и оператива

Кто сейчас на конференции