BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 29 мар 2024, 00:08

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 31 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: [5.2] Bgbilling + Galera
СообщениеДобавлено: 25 дек 2014, 11:13 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
Доброго времени суток!

Уважаемые, никто не ставил себе такую связку? У нас база "немного" тормозит, растет кол-во абонентов и держать на виртуалке ее уже тяжело, хотелось бы поднять multimaster репликацию на хост системах (локальные диски) и размазать по сервакам, а биллинг натравить на mysqlproxy или haproxy.

Смущает несколько вещей - когда я тестировал galera cluster - подопытным кроликом была cacti, и ей очень она не понравилась, конкретные проблемы были с запросами Replace.

Эксперементировать с живым биллингом очень не хочется, а тестовый не даст всей картины =(


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 25 дек 2014, 11:38 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
Картинка демонстрирующая как всё плохо


Вложения:
снимок21.png
снимок21.png [ 201.15 КБ | Просмотров: 22061 ]
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 25 дек 2014, 11:49 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 20 апр 2009, 12:03
Сообщения: 3092
Откуда: Иркутск
Карма: 338
Вообще, интересно, у кого хоть какой-нибудь кластер есть.

ps. У нас пока percona master + slave, планируем master-master сделать, с проксёй.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 25 дек 2014, 11:54 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
пытался на drbd сделать, хотя это резервное копирование с горячей заменой а не распределение нагрузок. проблема с отставанием которое может быть на слейве и привести к краху всей системы, отказались, хотя в тесте все работало

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 25 дек 2014, 12:02 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
skyb писал(а):
пытался на drbd сделать, хотя это резервное копирование с горячей заменой а не распределение нагрузок. проблема с отставанием которое может быть на слейве и привести к краху всей системы, отказались, хотя в тесте все работало

DRBD пройденный этап, жутко медленно =( сейчас у нас CEPH на выделенных серверах, до 1000 iops тянут на ура, но этого уже мало =(


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 25 дек 2014, 18:49 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
DRDB изначально создавался для работы с базами бизнес-логика которых относится к типу "analitycs" (большие объёмы при малом числе конкуретных операций).
Бизнес логика БЖБ относится к типу OLTP (малые объёмы перемещаемых данных при большом числе конкуретных операций).
Сомневаюсь что Xtradb Cluster сможет решить проблемы с производительностью при OLTP даже при распараллеливании read/write операций с помощью HAPROXY, ибо
накладные расходы на сетевой "group communication" сведут всё к "0".
Единственным по моему скромному IMHO солюшеном здесь было бы использование percona-servera (который изначально оптимизирован под OLTP-модель ) вместе с таким подвыпертом:
1. Сделать полный mysqldump базы БЖБ.
2. Вставить в компутер 2 диска : SSD и SAS
3. Смонтироваь первый в /var/lib/ssd, второй в /var/lib/sas.
4. Пропарсить снятый дамп скриптом , который в статемент CREATE TABLE для таблиц у которых в имени втречается "2014" добавляет DATA DIRECTORY = /var/lib/sas и /var/lib/SSD для всех остальных.
5. Скормить модернизированный дамп взад.
6. Мониторить и наслаждаться, наслаждаться и мониторить....

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 26 дек 2014, 08:49 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
пока не вылезет какая нибуть оппа ))))

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 26 дек 2014, 12:27 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
"оппа" вылезет при любом раскладе, незабвенный Skyb :facepalm:
Ибо над законами Мерфи все смеются , но никто пока не рискнул их опровергнуть....

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 02 мар 2015, 10:49 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
ok-2004 писал(а):
DRDB изначально создавался для работы с базами бизнес-логика которых относится к типу "analitycs" (большие объёмы при малом числе конкуретных операций).
Бизнес логика БЖБ относится к типу OLTP (малые объёмы перемещаемых данных при большом числе конкуретных операций).
Сомневаюсь что Xtradb Cluster сможет решить проблемы с производительностью при OLTP даже при распараллеливании read/write операций с помощью HAPROXY, ибо
накладные расходы на сетевой "group communication" сведут всё к "0".

я в первом посте описывал ситуацию, сейчас всё виртуализировано, файловая система находится на удаленных серверах и взаимодействие происходит через сеть. Это конечно всё достаточно быстро, но увы вносит задержки. моя идея заключается в том, чтобы перенести всё на хосты гипервизоров, чуть позже нарисую схему как было и как хочу сделать.
ok-2004 писал(а):
Единственным по моему скромному IMHO солюшеном здесь было бы использование percona-servera (который изначально оптимизирован под OLTP-модель ) вместе с таким подвыпертом:
1. Сделать полный mysqldump базы БЖБ.
2. Вставить в компутер 2 диска : SSD и SAS
3. Смонтироваь первый в /var/lib/ssd, второй в /var/lib/sas.
4. Пропарсить снятый дамп скриптом , который в статемент CREATE TABLE для таблиц у которых в имени втречается "2014" добавляет DATA DIRECTORY = /var/lib/sas и /var/lib/SSD для всех остальных.
5. Скормить модернизированный дамп взад.
6. Мониторить и наслаждаться, наслаждаться и мониторить....

Это хороший вариант, но увы не наш метод. PS: тогда уж лучше не возиться с SSD + SAS, а поставить что-то типа bcache, ну или железный вариант от adaptec. тем самым получиться что "горячие" данные всегда будут на SSD, а архив на HDD.

Мне не столь важна скорость, сколько отказоустойчивость. уже рушили базу (в том числе и БГшную), итак уже седые волосы полезли, а мне всего 25 :shock:


Последний раз редактировалось [LTC]Dimonyga 03 мар 2015, 11:24, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 02 мар 2015, 12:44 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241
[LTC]Dimonyga писал(а):
Мне не столь важна скорость, сколько отказоустойчивость. уже рушили базу (в том числе и БГшную), итак уже седые волосы полезли, а мне всего 25 :shock:

простите не удержался )))))
http://www.youtube.com/watch?v=SYWFz_2A8cM

_________________
Код:
  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 02 мар 2015, 14:32 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
Верхняя - то что есть, нижняя то что хотим сделать.

Все вопросы на текущий момент решены, тестовая схема обкатана. в этом месяце будем пробовать переводиться.
База будет лежать на LVM, каждый час снапшот, в 6 утра суточный снапшот и удаление часовых. раз в неделю недельный фулл бэкап.
Из за снапшотов скорость конечно сильно деградирует, но пока терпимо. HAProxy показал себя отвратительно, поставили mysqlproxy. в основе mariadb 5.5 + galera cluster, Centos 7. База с репозитория марии, epel в черном списке репозиториев (подводил не раз).
Пока игрались с mysqlproxy, но в дальнейшем планируем поиграться со встроенным в БГ коннектором. судя по документации поддержка есть. осталось потестировать и попробовать адаптировать в multimaster, тогда и mysqlproxy будет не нужен.


Вложения:
Неназванная Диаграмма.png
Неназванная Диаграмма.png [ 22.27 КБ | Просмотров: 21928 ]
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 04 мар 2015, 00:45 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
Переехали, радости полные штаны =)
Есть небольшие проблемы, но их думаю решим, завтра запилю статью в вики.
PS: скрипач (mysql-proxy) не нужен!


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 29 мар 2015, 23:55 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
Что-то не могу залогиниться на вики =( выкладываю тут.

Итак решение,
1 - делаем galera кластер (описывать не буду, статей в инэте навалом)
2 - перекидываем базу
ставим на сервере биллинга haproxy, добавляем в конфиг
Цитата:
backend database
mode tcp
option tcpka
balance source
option httpchk GET /
server db01 192.168.1.1:3306 weight 1 check port 8080 inter 1s rise 2 fall 1
server db02 192.168.1.2:3306 weight 1 check port 8080 inter 1s rise 2 fall 1
server db03 192.168.1.3:3306 weight 1 check port 8080 inter 1s rise 2 fall 1


frontend db_write
bind 127.0.0.1:3306
default_backend database


где 192.168.1.1 192.168.1.2 192.168.1.3 это ноды кластера.

Далее на каждом сервере с mysql ставим
Цитата:
python-iniparse
mysql-connector-python

у меня стоит centos 7, далее пишу команды для него:
Цитата:
yum -y install python-iniparse
yum -y install ftp://mirror.switch.ch/pool/4/mirror/my ... noarch.rpm

далее скачиваем mysqlchk, это скрипт напитоне который проверяет статус ноды mysql. если подробнее - проверяет переменную wsrep_local_state
Цитата:

добавляем в конфиг mysql
Цитата:
[mysql]
host = localhost
user = mysql_user
password = mysql_pass


вот собственно и всё, натравливаем на haproxy биллинг и радуемся жизни.
PS: J/Connector умеет это делать и сам, но заставить адекватно его работать у нас не получилось.

PS: небольшой workaround - чтобы все процессы биллинга гарантированно попали на один сервер - рекомендуется на время запуска, в вэб интерфейсе haproxy ставить все ноды кроме одной в статус down. иначе если коннект уйдет на другой сервер - будет deadlock из за отставания репликации.
потом естественно вернуть обратно.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 30 мар 2015, 07:02 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 27 мар 2012, 11:59
Сообщения: 2676
Карма: 72
добавил в wiki


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 05 май 2015, 22:09 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
Вопрос к разработчикам, это что ?

Код:
150505  7:54:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:54:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139196908
150505  7:54:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15462456, g: 139196908, s: 139196907, d: 139196907, ts: 1682456816893293)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'col'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD col INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201868
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467463, g: 139201868, s: 139201867, d: 139201867, ts: 1682517291955607)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201870
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467465, g: 139201870, s: 139201869, d: 139201869, ts: 1682517300391766)

Где то что то забыли ?
Код:
Информация о версии:

  Клиент: вер. 5.2 сборка 1229 от 30.03.2015 16:30:37
    os: Linux; java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    ВНИМАНИЕ: Спецификация версии 1.8 не рекомендуется
    ВНИМАНИЕ: Виртуальная машина OpenJDK 64-Bit Server VM не рекомендуется
  Сервер: вер. 5.2 сборка 1623 от 30.03.2015 16:30:41
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45

  bill вер. 5.2 сборка 318 от 09.02.2015 19:25:37
  card вер. 5.2 сборка 208 от 09.02.2015 19:25:38
  dba вер. 5.2 сборка 152 от 09.02.2015 19:26:13
  enaza вер. 5.2 сборка 48 от 09.02.2015 19:26:12
  inet вер. 5.2 сборка 1368 от 30.03.2015 16:30:49
  mps вер. 5.2 сборка 188 от 09.02.2015 19:26:33
  npay вер. 5.2 сборка 212 от 11.02.2015 14:25:33
  payonline вер. 5.2 сборка 63 от 09.02.2015 19:26:34
  phone вер. 5.2 сборка 283 от 18.02.2015 15:56:48
  rentsoft вер. 5.2 сборка 46 от 09.02.2015 19:26:15
  reports вер. 5.2 сборка 201 от 30.03.2015 16:30:52
  rscm вер. 5.2 сборка 174 от 09.02.2015 19:26:17
  ru.bitel.bgbilling.plugins.cladr вер. 5.2 сборка 109 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.crm вер. 5.2 сборка 201 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.helpdesk вер. 5.2 сборка 183 от 09.02.2015 19:26:22
  trayinfo вер. 5.2 сборка 163 от 09.02.2015 19:26:18
  voiceip вер. 5.2 сборка 211 от 09.02.2015 19:26:18

Окружение:

  Клиент:
    os: Linux amd64, 3.19.5-200.fc21.x86_64
    java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    jre home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.45-31.b13.fc21.x86_64/jre
  Сервер:
    os: Linux amd64, 2.6.32-504.el6.x86_64
    java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45
    jre home: /usr/java/jdk1.6.0_45/jre

Третьи стороны:

  Fugue Icons. Copyright © 2011 Yusuke Kamiyamane. All rights reserved.
    http://p.yusukekamiyamane.com/
  Silk icon set. Copyright © Mark James. All rights reserved.
    http://www.famfamfam.com/lab/icons/silk/


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 12:25 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
[LTC]Dimonyga писал(а):
Вопрос к разработчикам, это что ?

Код:
150505  7:54:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:54:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139196908
150505  7:54:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15462456, g: 139196908, s: 139196907, d: 139196907, ts: 1682456816893293)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'col'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD col INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201868
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467463, g: 139201868, s: 139201867, d: 139201867, ts: 1682517291955607)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201870
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467465, g: 139201870, s: 139201869, d: 139201869, ts: 1682517300391766)

Где то что то забыли ?
Код:
Информация о версии:

  Клиент: вер. 5.2 сборка 1229 от 30.03.2015 16:30:37
    os: Linux; java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    ВНИМАНИЕ: Спецификация версии 1.8 не рекомендуется
    ВНИМАНИЕ: Виртуальная машина OpenJDK 64-Bit Server VM не рекомендуется
  Сервер: вер. 5.2 сборка 1623 от 30.03.2015 16:30:41
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45

  bill вер. 5.2 сборка 318 от 09.02.2015 19:25:37
  card вер. 5.2 сборка 208 от 09.02.2015 19:25:38
  dba вер. 5.2 сборка 152 от 09.02.2015 19:26:13
  enaza вер. 5.2 сборка 48 от 09.02.2015 19:26:12
  inet вер. 5.2 сборка 1368 от 30.03.2015 16:30:49
  mps вер. 5.2 сборка 188 от 09.02.2015 19:26:33
  npay вер. 5.2 сборка 212 от 11.02.2015 14:25:33
  payonline вер. 5.2 сборка 63 от 09.02.2015 19:26:34
  phone вер. 5.2 сборка 283 от 18.02.2015 15:56:48
  rentsoft вер. 5.2 сборка 46 от 09.02.2015 19:26:15
  reports вер. 5.2 сборка 201 от 30.03.2015 16:30:52
  rscm вер. 5.2 сборка 174 от 09.02.2015 19:26:17
  ru.bitel.bgbilling.plugins.cladr вер. 5.2 сборка 109 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.crm вер. 5.2 сборка 201 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.helpdesk вер. 5.2 сборка 183 от 09.02.2015 19:26:22
  trayinfo вер. 5.2 сборка 163 от 09.02.2015 19:26:18
  voiceip вер. 5.2 сборка 211 от 09.02.2015 19:26:18

Окружение:

  Клиент:
    os: Linux amd64, 3.19.5-200.fc21.x86_64
    java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    jre home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.45-31.b13.fc21.x86_64/jre
  Сервер:
    os: Linux amd64, 2.6.32-504.el6.x86_64
    java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45
    jre home: /usr/java/jdk1.6.0_45/jre

Третьи стороны:

  Fugue Icons. Copyright © 2011 Yusuke Kamiyamane. All rights reserved.
    http://p.yusukekamiyamane.com/
  Silk icon set. Copyright © Mark James. All rights reserved.
    http://www.famfamfam.com/lab/icons/silk/


ничего страшного, там пытаются добавить столбец, который уже есть. Но у кого-то его может не быть. Исправим чтобы проверял существование столбца.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 12:32 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
stark писал(а):
[LTC]Dimonyga писал(а):
Вопрос к разработчикам, это что ?
ничего страшного, там пытаются добавить столбец, который уже есть. Но у кого-то его может не быть. Исправим чтобы проверял существование столбца.

Ну я понимаю что ничего страшного, но попытались отловить ошибку, включили более детальный лог и ... :shock:


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 12:43 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
[LTC]Dimonyga писал(а):
stark писал(а):
[LTC]Dimonyga писал(а):
Вопрос к разработчикам, это что ?
ничего страшного, там пытаются добавить столбец, который уже есть. Но у кого-то его может не быть. Исправим чтобы проверял существование столбца.

Ну я понимаю что ничего страшного, но попытались отловить ошибку, включили более детальный лог и ... :shock:


Исправлено. В следующем обновлении будет ..У нас кстати каждое обновление биллинга порождает кучу таких ошибок.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 13:02 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
stark писал(а):
Исправлено. В следующем обновлении будет ..У нас кстати каждое обновление биллинга порождает кучу таких ошибок.

Да вот я и думаю, что тестировали норм всё было, а забыл что обновились ...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 13:46 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
[LTC]Dimonyga писал(а):
stark писал(а):
Исправлено. В следующем обновлении будет ..У нас кстати каждое обновление биллинга порождает кучу таких ошибок.

Да вот я и думаю, что тестировали норм всё было, а забыл что обновились ...

но данная ошибки не при обновлении, а при каждом обсчете npay вылезала.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 14:42 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
stark писал(а):
но данная ошибки не при обновлении, а при каждом обсчете npay вылезала.

Раньше ее не наблюдал, хотя у меня были включены debug логи, где каждая транзакция видна. пока отлаживали. появилась уже после внедрения галеры. На какой версии тестировались не помню, но знаю что обновляемся крайне редко, руководствуясь принципом - "Эта фигня работает - не трогай ее", пока никаких проблем нет - не обновляемся.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 15:02 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Думаю в этот лог запись об ошибке изменения таблицы попадает именно при применении изменений к slave-базе (хотя изначально она произошла и на первой базе).
Т.е. если ALTER TABLE не выполнился на базе к которой отпралялся запрос - это скорее проблема приложения, которое отправляло этот ALTER TABLE.
А если ALTER TABLE вдруг по какой-то причине (не важно какой) не выполнился на slave - то это может быть критично, т.к. при разной структуре остановится синхронизация.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 15:13 
Не в сети
Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8
Amir писал(а):
Думаю в этот лог запись об ошибке изменения таблицы попадает именно при применении изменений к slave-базе (хотя изначально она произошла и на первой базе).
Т.е. если ALTER TABLE не выполнился на базе к которой отпралялся запрос - это скорее проблема приложения, которое отправляло этот ALTER TABLE.
А если ALTER TABLE вдруг по какой-то причине (не важно какой) не выполнился на slave - то это может быть критично, т.к. при разной структуре остановится синхронизация.


Я больше склоняюсь к тому что это проблема приложения. Объясню почему
1 - база создается 1-го числа, а эти запросы с ошибками идут каждый день
2 - в логе фигурирует slave так как mysql над галера только надстройка, это выглядит примерно как federated таблицы, и slave тут нет вообще, все мастера, от того она и multimaster =)
3 - репликация происходит построчно, поэтому запросы на второй сервер не отправляются совсем. иначе ой, например запрос на вставку с rand() и ......


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 06 май 2015, 15:37 
Не в сети
Разработчик
Аватара пользователя

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256
Я только о том, почему эти ошибки сейчас есть в логах, а до этого не было.
Так-то да - при переобсчете NPAY всегда вызывался ALTER TABLE даже если столбец уже есть (а он уже давно есть).

Я про то, что если вызвать такой ALTER TABLE на обычной базе - она не запишет ошибку в логи в режиме ERROR, а если придет синхронизация в slave с таким запросом - то вполне вероятно напишет, т.к. это может помочь при какой-нибудь ошибке синхронизации.

А ALTER TABLE построчно все равно не получится послать, думаю изменения структуры БД идут запросами.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 22 ноя 2016, 19:20 
Не в сети
Клиент

Зарегистрирован: 07 мар 2012, 15:02
Сообщения: 932
Откуда: Воронеж
Карма: 35
Прошло полтора года... Как ведёт себя кластер с биллингом? Были ли уже приключения? И как с ними справилась галера?

_________________

Клиент: вер. 6.2.873 / 04.12.2017 19:38:11
os: Windows 7; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_65
Сервер: вер. 6.2.1202 / 04.12.2017 19:39:21
os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_91


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 22 ноя 2018, 03:35 
Не в сети
Клиент

Зарегистрирован: 22 апр 2014, 18:05
Сообщения: 73
Карма: 0
Позвольте некропостнуть....

Как ведёт себя кластер с биллингом? Продолжаете работать с galera кластером?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 22 ноя 2018, 07:02 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472
https://t.me/bgbilling/28602
Комментарий ТС'а

_________________
Цитаты великих людей :umnik:
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 26 ноя 2018, 21:55 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Бесплатная кластеризация реляционной БД "искаропки" без поддержки приложением практически невозможна. Это противоречит самой сути реляционности и связанности данных. Даже банальная реплика требует особого обращения, в неё может быть перенаправлен не любой запрос, а только допускающий запаздывания данных после изменений.

Для масштабирования данные надо в первую очередь логически разделить на несвязанные блоки. Поэтому в биллинге и делали поддержку мусорных БД, для отделения неважных данных и снижения нагрузки на основную БД. Упрощения бакапов. И бинарные логи выносили в файлы.

Теоретически должно быть возможно выносить договора группами и всеми связанными данными на разные БД, а для составления отчётности - использовать общую реплику. И будет распределённая база размера Фейсбук на аналогичных же MySQL.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 27 ноя 2018, 01:22 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472
Администратор писал(а):
Бесплатная кластеризация реляционной БД "искаропки" без поддержки приложением практически невозможна.

https://forum.bitel.ru/viewtopic.php?f=19&t=12694
Там даже CRM висит статус :)

_________________
Цитаты великих людей :umnik:
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: [5.2] Bgbilling + Galera
СообщениеДобавлено: 27 ноя 2018, 19:01 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Статус повесить - дело недолгое :-) Это просто отслеживание.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 31 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.158s | 80 Queries | GZIP : On ]