BiTel

Перелез на резервном сервере с 6.0 на 7.0. Клиент подключался к биллингу. На резервном версии 7.0 привёл базу в актуальное состояние с помощью mysql-zrm из бекапа с рабочего биллинга от предыдущей ночи.
Теперь клиент не подключается к биллингу. Ошибка:
user@ilinav ~/BGBillingClient7.0 $ cat log
GraphicsDevice: :0.0 (default)
DisplayMode: 1920x1080x-1x60
ScreenInsets: top=25,left=0,bottom=0,right=0
GraphicsDevice: :0.1
DisplayMode: 1920x1080x-1x0
ScreenInsets: top=0,left=0,bottom=0,right=0
ScreenInsets(def): top=25,left=0,bottom=0,right=0
http://172.16.222.212:8080/bgbilling/ex ... ndToolBar&
[ length = 102 ] xml = <?xml version="1.0" encoding="UTF-8"?><data status="error">Column 'opids' not found. [S0022, 0]</data>

На сервере в логах:
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - ru.bitel.bgbilling.common.BGException: Column 'opids' not found. [S0022, 0]
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at ru.bitel.common.dao.AbstractDao.processException(AbstractDao.java:89)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at ru.bitel.common.dao.AbstractDao.get(AbstractDao.java:378)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at ru.bitel.bgbilling.kernel.module.server.bean.UserManager.getUserByLogin(UserManager.java:266)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at bitel.billing.server.admin.bgsecure.bean.UserLoginModule.login(UserLoginModule.java:200)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at java.lang.reflect.Method.invoke(Method.java:497)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.security.auth.login.LoginContext.invoke(LoginContext.java:755)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.security.auth.login.LoginContext.access$000(LoginContext.java:195)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.security.auth.login.LoginContext$4.run(LoginContext.java:682)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.security.auth.login.LoginContext$4.run(LoginContext.java:680)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at java.security.AccessController.doPrivileged(Native Method)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.security.auth.login.LoginContext.invokePriv(LoginContext.java:680)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.security.auth.login.LoginContext.login(LoginContext.java:587)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at bitel.billing.server.admin.bgsecure.bean.UserLoginModule.auth(UserLoginModule.java:43)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at bitel.billing.server.Executer.checkUser(SourceFile:421)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at bitel.billing.server.Executer.doPost(SourceFile:186)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.servlet.http.HttpServlet.service(HttpServlet.java:646)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at javax.servlet.http.HttpServlet.service(HttpServlet.java:727)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at ru.bitel.common.server.filters.SetCharacterEncodingFilter.doFilter(SetCharacterEncodingFilter.java:54)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:220)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:122)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:504)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:950)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:170)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:103)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:421)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1074)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:611)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:314)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at java.lang.Thread.run(Thread.java:745)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - Caused by: java.sql.SQLException: Column 'opids' not found.
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:957)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:896)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:885)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:860)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at com.mysql.jdbc.ResultSetImpl.findColumn(ResultSetImpl.java:1076)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at com.mysql.jdbc.ResultSetImpl.getString(ResultSetImpl.java:5206)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at org.apache.commons.dbcp.DelegatingResultSet.getString(DelegatingResultSet.java:263)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at ru.bitel.bgbilling.kernel.module.server.bean.UserManager.getFromRS(UserManager.java:108)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at ru.bitel.bgbilling.kernel.module.server.bean.UserManager.getFromRS(UserManager.java:21)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - at ru.bitel.common.dao.AbstractDao.get(AbstractDao.java:365)
server 11-29/14:24:40 ERROR [http-bio-0.0.0.0-8080-exec-7] LoggingPrintStream - ... 38 more

Как с этим жить?

В логах MySQL ошибки:

161129 14:53:46 [ERROR] Missing system table mysql.proxies_priv; please run mysql_upgrade to create it
161129 14:53:46 [ERROR] Error reading master configuration
161129 14:53:46 [ERROR] Failed to initialize the master info structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'events_waits_current' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'events_waits_history' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'events_waits_history_long' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'setup_consumers' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'setup_instruments' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'setup_timers' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'performance_timers' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'threads' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'events_waits_summary_by_thread_by_event_name' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'events_waits_summary_by_instance' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'events_waits_summary_global_by_event_name' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'file_summary_by_event_name' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'file_summary_by_instance' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'mutex_instances' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'rwlock_instances' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'cond_instances' has the wrong structure
161129 14:53:46 [ERROR] Native table 'performance_schema'.'file_instances' has the wrong structure

похоже ваша утилита базу попортила при актуализации

Ох уж эти альтернативные попытки обновится без простоя. В итоге потом проблем больше и будете еще пару месяцев их разгребать, проще было просто классически обновится. А теперь надо смотреть в индивидуальном порядке и разбираться что же там не так. Если вы в slave базу что-то писали то обычно ничего хорошего не выйдет. из этого

Для начала можете почистить кеш установить модуль update_7.0 заново. Можете вначале без очистки кеша, но если колонка не появится то с кешем. Про кэш вот тут(killhash) :
https://docs.bitel.ru/pages/viewpage.ac ... d=43384898

Если вообще стоит этим заниматься. Вы для интереса бы сравнили что должно быть в базе 7.0 и что есть сейчас. Если нет ничего, то проще все сделать заново.

Тут явно что-то попорчено. Причем это не наши таблицы, системные. Вот тут есть какой-то рецепт :
https://www.flynet.pro/en/node/151

Но не знаю насколько стоит ему доверять и вообще стоит ли пытаться.

Правильно ли это понимать так: Вы обновились на резервном(надеюсь он не был slave, как только вы начали в него что-то самостоятельно писать он перестает работать нормально как slave), т.е добавили все столбцы новые и таблицы от 7.0 . Потом вязли и перетерли все бекапом из 6.0 обратно. Т.е все что добавили(все столбцы и данные), вы удалили обратно и теперь у вас не понятно что , база от 6.0 с некоторыми новыми таблицами от 7.0 и возможно немного с другими данными. Плюс еще попортилась сама структура.

Мбда.
Отрабатывал на резервном сервере апгрейд до 7.0. И так трабл нашёл https://forum.bitel.ru/viewtopic.php?f=22&t=12028 , так ещё и сам добавил. Сейчас в логах mysql остались только
161129 15:30:30 [ERROR] Error reading master configuration
161129 15:30:30 [ERROR] Failed to initialize the master info structure
База ёк?

Вы отключите уже репликацию то, у вас уже 2 разные базы они уже никак не смогут реплицироваться.

Да уж года два как отключено.

Странно, но эта ошибка вроде как связана с репликацией.