forum.bitel.ru • Просмотр темы

Сообщения без ответов | Активные темы

Список форумов » BGBilling » Вопросы и предложения

Часовой пояс: UTC + 5 часов [ Летнее время ]

[5.2] Bgbilling + Galera

Страница 1 из 2

[ Сообщений: 31 ]

На страницу 1, 2 След.

Версия для печати

Пред. тема | След. тема

Автор

Сообщение

[LTC]Dimonyga

Заголовок сообщения: [5.2] Bgbilling + Galera

Добавлено: 25 дек 2014, 11:13

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

Доброго времени суток!

Уважаемые, никто не ставил себе такую связку? У нас база "немного" тормозит, растет кол-во абонентов и держать на виртуалке ее уже тяжело, хотелось бы поднять multimaster репликацию на хост системах (локальные диски) и размазать по сервакам, а биллинг натравить на mysqlproxy или haproxy.

Смущает несколько вещей - когда я тестировал galera cluster - подопытным кроликом была cacti, и ей очень она не понравилась, конкретные проблемы были с запросами Replace.

Эксперементировать с живым биллингом очень не хочется, а тестовый не даст всей картины =(

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 25 дек 2014, 11:38

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

Картинка демонстрирующая как всё плохо

Вложения:

снимок21.png [ 201.15 КБ | Просмотров: 33067 ]

Вернуться к началу

Cromeshnic

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 25 дек 2014, 11:49

Клиент

Зарегистрирован: 20 апр 2009, 12:03
Сообщения: 3092
Откуда: Иркутск
Карма: 338

Вообще, интересно, у кого хоть какой-нибудь кластер есть.

ps. У нас пока percona master + slave, планируем master-master сделать, с проксёй.

Вернуться к началу

skyb

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 25 дек 2014, 11:54

Клиент

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241

пытался на drbd сделать, хотя это резервное копирование с горячей заменой а не распределение нагрузок. проблема с отставанием которое может быть на слейве и привести к краху всей системы, отказались, хотя в тесте все работало

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Помощь по администрированию bgbilling в jabber конференции или Группа в telegram
Стиль программирования - пьяный мастерстер
Разработка мобильных приложений

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 25 дек 2014, 12:02

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

skyb писал(а):

DRBD пройденный этап, жутко медленно =( сейчас у нас CEPH на выделенных серверах, до 1000 iops тянут на ура, но этого уже мало =(

Вернуться к началу

ok-2004

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 25 дек 2014, 18:49

Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40

DRDB изначально создавался для работы с базами бизнес-логика которых относится к типу "analitycs" (большие объёмы при малом числе конкуретных операций).
Бизнес логика БЖБ относится к типу OLTP (малые объёмы перемещаемых данных при большом числе конкуретных операций).
Сомневаюсь что Xtradb Cluster сможет решить проблемы с производительностью при OLTP даже при распараллеливании read/write операций с помощью HAPROXY, ибо
накладные расходы на сетевой "group communication" сведут всё к "0".
Единственным по моему скромному IMHO солюшеном здесь было бы использование percona-servera (который изначально оптимизирован под OLTP-модель ) вместе с таким подвыпертом:
1. Сделать полный mysqldump базы БЖБ.
2. Вставить в компутер 2 диска : SSD и SAS
3. Смонтироваь первый в /var/lib/ssd, второй в /var/lib/sas.
4. Пропарсить снятый дамп скриптом , который в статемент CREATE TABLE для таблиц у которых в имени втречается "2014" добавляет DATA DIRECTORY = /var/lib/sas и /var/lib/SSD для всех остальных.
5. Скормить модернизированный дамп взад.
6. Мониторить и наслаждаться, наслаждаться и мониторить....

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)

Вернуться к началу

skyb

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 26 дек 2014, 08:49

Клиент

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241

пока не вылезет какая нибуть оппа ))))

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Вернуться к началу

ok-2004

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 26 дек 2014, 12:27

Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40

"оппа" вылезет при любом раскладе, незабвенный Skyb :facepalm:

Ибо над законами Мерфи все смеются , но никто пока не рискнул их опровергнуть....

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 02 мар 2015, 10:49

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

ok-2004 писал(а):

я в первом посте описывал ситуацию, сейчас всё виртуализировано, файловая система находится на удаленных серверах и взаимодействие происходит через сеть. Это конечно всё достаточно быстро, но увы вносит задержки. моя идея заключается в том, чтобы перенести всё на хосты гипервизоров, чуть позже нарисую схему как было и как хочу сделать.

ok-2004 писал(а):

Единственным по моему скромному IMHO солюшеном здесь было бы использование percona-servera (который изначально оптимизирован под OLTP-модель ) вместе с таким подвыпертом:
1. Сделать полный mysqldump базы БЖБ.
2. Вставить в компутер 2 диска : SSD и SAS
3. Смонтироваь первый в /var/lib/ssd, второй в /var/lib/sas.
4. Пропарсить снятый дамп скриптом , который в статемент CREATE TABLE для таблиц у которых в имени втречается "2014" добавляет DATA DIRECTORY = /var/lib/sas и /var/lib/SSD для всех остальных.
5. Скормить модернизированный дамп взад.
6. Мониторить и наслаждаться, наслаждаться и мониторить....

Это хороший вариант, но увы не наш метод. PS: тогда уж лучше не возиться с SSD + SAS, а поставить что-то типа bcache, ну или железный вариант от adaptec. тем самым получиться что "горячие" данные всегда будут на SSD, а архив на HDD.

Мне не столь важна скорость, сколько отказоустойчивость. уже рушили базу (в том числе и БГшную), итак уже седые волосы полезли, а мне всего 25 :shock:

Последний раз редактировалось [LTC]Dimonyga 03 мар 2015, 11:24, всего редактировалось 1 раз.

Вернуться к началу

skyb

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 02 мар 2015, 12:44

Клиент

Зарегистрирован: 03 авг 2009, 18:42
Сообщения: 7166
Откуда: Благовещенск
Карма: 241

[LTC]Dimonyga писал(а):

Мне не столь важна скорость, сколько отказоустойчивость. уже рушили базу (в том числе и БГшную), итак уже седые волосы полезли, а мне всего 25 :shock:

простите не удержался )))))
http://www.youtube.com/watch?v=SYWFz_2A8cM

_________________

Код:

  Клиент: вер. 6.2.714 / 25.05.2015 17:27:15
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45
  Сервер: вер. 6.2.881 / 22.05.2015 17:56:55
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_45

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 02 мар 2015, 14:32

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

Верхняя - то что есть, нижняя то что хотим сделать.

Все вопросы на текущий момент решены, тестовая схема обкатана. в этом месяце будем пробовать переводиться.
База будет лежать на LVM, каждый час снапшот, в 6 утра суточный снапшот и удаление часовых. раз в неделю недельный фулл бэкап.
Из за снапшотов скорость конечно сильно деградирует, но пока терпимо. HAProxy показал себя отвратительно, поставили mysqlproxy. в основе mariadb 5.5 + galera cluster, Centos 7. База с репозитория марии, epel в черном списке репозиториев (подводил не раз).
Пока игрались с mysqlproxy, но в дальнейшем планируем поиграться со встроенным в БГ коннектором. судя по документации поддержка есть. осталось потестировать и попробовать адаптировать в multimaster, тогда и mysqlproxy будет не нужен.

Вложения:

Неназванная Диаграмма.png [ 22.27 КБ | Просмотров: 32934 ]

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 04 мар 2015, 00:45

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

Переехали, радости полные штаны =)
Есть небольшие проблемы, но их думаю решим, завтра запилю статью в вики.
PS: скрипач (mysql-proxy) не нужен!

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 29 мар 2015, 23:55

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

Что-то не могу залогиниться на вики =( выкладываю тут.

Итак решение,
1 - делаем galera кластер (описывать не буду, статей в инэте навалом)
2 - перекидываем базу
ставим на сервере биллинга haproxy, добавляем в конфиг

Цитата:

backend database
mode tcp
option tcpka
balance source
option httpchk GET /
server db01 192.168.1.1:3306 weight 1 check port 8080 inter 1s rise 2 fall 1
server db02 192.168.1.2:3306 weight 1 check port 8080 inter 1s rise 2 fall 1
server db03 192.168.1.3:3306 weight 1 check port 8080 inter 1s rise 2 fall 1

frontend db_write
bind 127.0.0.1:3306
default_backend database

где 192.168.1.1 192.168.1.2 192.168.1.3 это ноды кластера.

Далее на каждом сервере с mysql ставим

Цитата:

python-iniparse
mysql-connector-python

у меня стоит centos 7, далее пишу команды для него:

Цитата:

yum -y install python-iniparse
yum -y install ftp://mirror.switch.ch/pool/4/mirror/my ... noarch.rpm

далее скачиваем mysqlchk, это скрипт напитоне который проверяет статус ноды mysql. если подробнее - проверяет переменную wsrep_local_state

Цитата:

git clone https://github.com/Dimonyga/mysql_galera_checker.git

добавляем в конфиг mysql

Цитата:

[mysql]
host = localhost
user = mysql_user
password = mysql_pass

вот собственно и всё, натравливаем на haproxy биллинг и радуемся жизни.
PS: J/Connector умеет это делать и сам, но заставить адекватно его работать у нас не получилось.

PS: небольшой workaround - чтобы все процессы биллинга гарантированно попали на один сервер - рекомендуется на время запуска, в вэб интерфейсе haproxy ставить все ноды кроме одной в статус down. иначе если коннект уйдет на другой сервер - будет deadlock из за отставания репликации.
потом естественно вернуть обратно.

Вернуться к началу

zavndw

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 30 мар 2015, 07:02

Клиент

Зарегистрирован: 27 мар 2012, 11:59
Сообщения: 2677
Карма: 72

добавил в wiki

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 05 май 2015, 22:09

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

Вопрос к разработчикам, это что ?

Код:

150505  7:54:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:54:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139196908
150505  7:54:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15462456, g: 139196908, s: 139196907, d: 139196907, ts: 1682456816893293)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'col'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD col INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201868
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467463, g: 139201868, s: 139201867, d: 139201867, ts: 1682517291955607)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201870
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467465, g: 139201870, s: 139201869, d: 139201869, ts: 1682517300391766)

Где то что то забыли ?

Код:

Информация о версии:

  Клиент: вер. 5.2 сборка 1229 от 30.03.2015 16:30:37
    os: Linux; java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    ВНИМАНИЕ: Спецификация версии 1.8 не рекомендуется
    ВНИМАНИЕ: Виртуальная машина OpenJDK 64-Bit Server VM не рекомендуется
  Сервер: вер. 5.2 сборка 1623 от 30.03.2015 16:30:41
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45

  bill вер. 5.2 сборка 318 от 09.02.2015 19:25:37
  card вер. 5.2 сборка 208 от 09.02.2015 19:25:38
  dba вер. 5.2 сборка 152 от 09.02.2015 19:26:13
  enaza вер. 5.2 сборка 48 от 09.02.2015 19:26:12
  inet вер. 5.2 сборка 1368 от 30.03.2015 16:30:49
  mps вер. 5.2 сборка 188 от 09.02.2015 19:26:33
  npay вер. 5.2 сборка 212 от 11.02.2015 14:25:33
  payonline вер. 5.2 сборка 63 от 09.02.2015 19:26:34
  phone вер. 5.2 сборка 283 от 18.02.2015 15:56:48
  rentsoft вер. 5.2 сборка 46 от 09.02.2015 19:26:15
  reports вер. 5.2 сборка 201 от 30.03.2015 16:30:52
  rscm вер. 5.2 сборка 174 от 09.02.2015 19:26:17
  ru.bitel.bgbilling.plugins.cladr вер. 5.2 сборка 109 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.crm вер. 5.2 сборка 201 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.helpdesk вер. 5.2 сборка 183 от 09.02.2015 19:26:22
  trayinfo вер. 5.2 сборка 163 от 09.02.2015 19:26:18
  voiceip вер. 5.2 сборка 211 от 09.02.2015 19:26:18

Окружение:

  Клиент:
    os: Linux amd64, 3.19.5-200.fc21.x86_64
    java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    jre home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.45-31.b13.fc21.x86_64/jre
  Сервер:
    os: Linux amd64, 2.6.32-504.el6.x86_64
    java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45
    jre home: /usr/java/jdk1.6.0_45/jre

Третьи стороны:

  Fugue Icons. Copyright © 2011 Yusuke Kamiyamane. All rights reserved.
    http://p.yusukekamiyamane.com/
  Silk icon set. Copyright © Mark James. All rights reserved.
    http://www.famfamfam.com/lab/icons/silk/

Вернуться к началу

stark

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 12:25

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

[LTC]Dimonyga писал(а):

Вопрос к разработчикам, это что ?

Код:

150505  7:54:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:54:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139196908
150505  7:54:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15462456, g: 139196908, s: 139196907, d: 139196907, ts: 1682456816893293)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'col'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD col INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201868
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467463, g: 139201868, s: 139201867, d: 139201867, ts: 1682517291955607)
150505  7:55:07 [ERROR] Slave SQL: Error 'Duplicate column name 'treeId'' on query. Default database: 'bgbilling'. Query: 'ALTER TABLE npay_detail_5_201505 ADD treeId INT NOT NULL', Error_code: 1060
150505  7:55:07 [Warning] WSREP: RBR event 1 Query apply warning: 1, 139201870
150505  7:55:07 [Warning] WSREP: Ignoring error for TO isolated action: source: f5b656a5-e750-11e4-8441-0211ce1061c9 version: 3 local: 0 state: APPLYING flags: 65 conn_id: 1522604 trx_id: -1 seqnos (l: 15467465, g: 139201870, s: 139201869, d: 139201869, ts: 1682517300391766)

Где то что то забыли ?

Код:

Информация о версии:

  Клиент: вер. 5.2 сборка 1229 от 30.03.2015 16:30:37
    os: Linux; java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    ВНИМАНИЕ: Спецификация версии 1.8 не рекомендуется
    ВНИМАНИЕ: Виртуальная машина OpenJDK 64-Bit Server VM не рекомендуется
  Сервер: вер. 5.2 сборка 1623 от 30.03.2015 16:30:41
    os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45

  bill вер. 5.2 сборка 318 от 09.02.2015 19:25:37
  card вер. 5.2 сборка 208 от 09.02.2015 19:25:38
  dba вер. 5.2 сборка 152 от 09.02.2015 19:26:13
  enaza вер. 5.2 сборка 48 от 09.02.2015 19:26:12
  inet вер. 5.2 сборка 1368 от 30.03.2015 16:30:49
  mps вер. 5.2 сборка 188 от 09.02.2015 19:26:33
  npay вер. 5.2 сборка 212 от 11.02.2015 14:25:33
  payonline вер. 5.2 сборка 63 от 09.02.2015 19:26:34
  phone вер. 5.2 сборка 283 от 18.02.2015 15:56:48
  rentsoft вер. 5.2 сборка 46 от 09.02.2015 19:26:15
  reports вер. 5.2 сборка 201 от 30.03.2015 16:30:52
  rscm вер. 5.2 сборка 174 от 09.02.2015 19:26:17
  ru.bitel.bgbilling.plugins.cladr вер. 5.2 сборка 109 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.crm вер. 5.2 сборка 201 от 09.02.2015 19:26:20
  ru.bitel.bgbilling.plugins.helpdesk вер. 5.2 сборка 183 от 09.02.2015 19:26:22
  trayinfo вер. 5.2 сборка 163 от 09.02.2015 19:26:18
  voiceip вер. 5.2 сборка 211 от 09.02.2015 19:26:18

Окружение:

  Клиент:
    os: Linux amd64, 3.19.5-200.fc21.x86_64
    java: OpenJDK 64-Bit Server VM, v.1.8.0_45
    jre home: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.45-31.b13.fc21.x86_64/jre
  Сервер:
    os: Linux amd64, 2.6.32-504.el6.x86_64
    java: Java HotSpot(TM) 64-Bit Server VM, v.1.6.0_45
    jre home: /usr/java/jdk1.6.0_45/jre

Третьи стороны:

  Fugue Icons. Copyright © 2011 Yusuke Kamiyamane. All rights reserved.
    http://p.yusukekamiyamane.com/
  Silk icon set. Copyright © Mark James. All rights reserved.
    http://www.famfamfam.com/lab/icons/silk/

ничего страшного, там пытаются добавить столбец, который уже есть. Но у кого-то его может не быть. Исправим чтобы проверял существование столбца.

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 12:32

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

stark писал(а):

[LTC]Dimonyga писал(а):

Вопрос к разработчикам, это что ?
ничего страшного, там пытаются добавить столбец, который уже есть. Но у кого-то его может не быть. Исправим чтобы проверял существование столбца.

Ну я понимаю что ничего страшного, но попытались отловить ошибку, включили более детальный лог и ... :shock:

Вернуться к началу

stark

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 12:43

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

[LTC]Dimonyga писал(а):

stark писал(а):

[LTC]Dimonyga писал(а):

Ну я понимаю что ничего страшного, но попытались отловить ошибку, включили более детальный лог и ... :shock:

Исправлено. В следующем обновлении будет ..У нас кстати каждое обновление биллинга порождает кучу таких ошибок.

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 13:02

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

stark писал(а):

Да вот я и думаю, что тестировали норм всё было, а забыл что обновились ...

Вернуться к началу

stark

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 13:46

Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238

[LTC]Dimonyga писал(а):

stark писал(а):

Да вот я и думаю, что тестировали норм всё было, а забыл что обновились ...

но данная ошибки не при обновлении, а при каждом обсчете npay вылезала.

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 14:42

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

stark писал(а):

но данная ошибки не при обновлении, а при каждом обсчете npay вылезала.

Раньше ее не наблюдал, хотя у меня были включены debug логи, где каждая транзакция видна. пока отлаживали. появилась уже после внедрения галеры. На какой версии тестировались не помню, но знаю что обновляемся крайне редко, руководствуясь принципом - "Эта фигня работает - не трогай ее", пока никаких проблем нет - не обновляемся.

Вернуться к началу

Amir

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 15:02

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

Думаю в этот лог запись об ошибке изменения таблицы попадает именно при применении изменений к slave-базе (хотя изначально она произошла и на первой базе).
Т.е. если ALTER TABLE не выполнился на базе к которой отпралялся запрос - это скорее проблема приложения, которое отправляло этот ALTER TABLE.
А если ALTER TABLE вдруг по какой-то причине (не важно какой) не выполнился на slave - то это может быть критично, т.к. при разной структуре остановится синхронизация.

Вернуться к началу

[LTC]Dimonyga

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 15:13

Клиент

Зарегистрирован: 12 янв 2012, 16:12
Сообщения: 56
Откуда: г. Новосибирск
Карма: 8

Amir писал(а):

Я больше склоняюсь к тому что это проблема приложения. Объясню почему
1 - база создается 1-го числа, а эти запросы с ошибками идут каждый день
2 - в логе фигурирует slave так как mysql над галера только надстройка, это выглядит примерно как federated таблицы, и slave тут нет вообще, все мастера, от того она и multimaster =)
3 - репликация происходит построчно, поэтому запросы на второй сервер не отправляются совсем. иначе ой, например запрос на вставку с rand() и ......

Вернуться к началу

Amir

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 06 май 2015, 15:37

Разработчик

Зарегистрирован: 19 дек 2006, 21:04
Сообщения: 5970
Карма: 256

Я только о том, почему эти ошибки сейчас есть в логах, а до этого не было.
Так-то да - при переобсчете NPAY всегда вызывался ALTER TABLE даже если столбец уже есть (а он уже давно есть).

Я про то, что если вызвать такой ALTER TABLE на обычной базе - она не запишет ошибку в логи в режиме ERROR, а если придет синхронизация в slave с таким запросом - то вполне вероятно напишет, т.к. это может помочь при какой-нибудь ошибке синхронизации.

А ALTER TABLE построчно все равно не получится послать, думаю изменения структуры БД идут запросами.

Вернуться к началу

vkulakov

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 22 ноя 2016, 19:20

Клиент

Зарегистрирован: 07 мар 2012, 15:02
Сообщения: 932
Откуда: Воронеж
Карма: 35

Прошло полтора года... Как ведёт себя кластер с биллингом? Были ли уже приключения? И как с ними справилась галера?

_________________

Клиент: вер. 6.2.873 / 04.12.2017 19:38:11
os: Windows 7; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_65
Сервер: вер. 6.2.1202 / 04.12.2017 19:39:21
os: Linux; java: Java HotSpot(TM) 64-Bit Server VM, v.1.8.0_91

Вернуться к началу

alexdirty

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 22 ноя 2018, 03:35

Клиент

Зарегистрирован: 22 апр 2014, 18:05
Сообщения: 73
Карма: 0

Позвольте некропостнуть....

Как ведёт себя кластер с биллингом? Продолжаете работать с galera кластером?

Вернуться к началу

Phricker

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 22 ноя 2018, 07:02

Клиент

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472

https://t.me/bgbilling/28602
Комментарий ТС'а

_________________
Цитаты великих людей :umnik:

Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn

Вернуться к началу

Администратор

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 26 ноя 2018, 21:55

Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93

Бесплатная кластеризация реляционной БД "искаропки" без поддержки приложением практически невозможна. Это противоречит самой сути реляционности и связанности данных. Даже банальная реплика требует особого обращения, в неё может быть перенаправлен не любой запрос, а только допускающий запаздывания данных после изменений.

Для масштабирования данные надо в первую очередь логически разделить на несвязанные блоки. Поэтому в биллинге и делали поддержку мусорных БД, для отделения неважных данных и снижения нагрузки на основную БД. Упрощения бакапов. И бинарные логи выносили в файлы.

Теоретически должно быть возможно выносить договора группами и всеми связанными данными на разные БД, а для составления отчётности - использовать общую реплику. И будет распределённая база размера Фейсбук на аналогичных же MySQL.

Вернуться к началу

Phricker

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 27 ноя 2018, 01:22

Клиент

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472

Администратор писал(а):

Бесплатная кластеризация реляционной БД "искаропки" без поддержки приложением практически невозможна.

https://forum.bitel.ru/viewtopic.php?f=19&t=12694
Там даже CRM висит статус

_________________
Цитаты великих людей :umnik:

Вернуться к началу

Администратор

Заголовок сообщения: Re: [5.2] Bgbilling + Galera

Добавлено: 27 ноя 2018, 19:01

Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93

Статус повесить - дело недолгое :-)

Это просто отслеживание.

Вернуться к началу

Страница 1 из 2

[ Сообщений: 31 ]

На страницу 1, 2 След.

Список форумов » BGBilling » Вопросы и предложения

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Перейти:

BiTel

[5.2] Bgbilling + Galera

Кто сейчас на конференции