BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 18 апр 2024, 12:23

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 10 ] 
Автор Сообщение
 Заголовок сообщения: Большой размер базы
СообщениеДобавлено: 06 май 2018, 13:04 
Не в сети

Зарегистрирован: 20 мар 2017, 14:10
Сообщения: 440
Карма: 0
Привет.
Глупый вопрос, а что делать когда раздулась база?
Больше 10Гбайт, притом что биллинг эксплуатируется меньше года и мы средний оператор с небольшим количеством абонентов (до 10 тыс). Это нормально?)
По нам, так это многовато, с учетом того, что хотелось бы в активной базе хранить минимум года за 3.
Мускул как бы уже кряхтит, и бэкапы идут недопустимо долго, и ситуация только ухудшается..
Сервер кстати совсем не дрова, на SSD винтах I7, вполне себе...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 13:27 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
смотреть что именно раздулось и убирать если это ненужные уже данные, что ещё можно вообще в принципе делать?

_________________
I'm clever. I've got a computer.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 13:52 
Не в сети

Зарегистрирован: 20 мар 2017, 14:10
Сообщения: 440
Карма: 0
Гениально! И как я сам не догадался.
Ну вообще хотелось бы услышать от разработчиков обоснованность такого размера.
Типа такого: "Да, в нашем биллинге, размер базы для такого количества клиентов может достигать такого объема за указанный период. Не видим в этом ничего криминального, у нас тут процессы по 1G+ RAM жрут и и не давятся, а вы тут из за каких-то 10G у базы возникаете. А если вам что-то не нравится то, как говорит Фрикер и Ко, валите на другой биллинг".
Или: "Нет, тут что-то идет не так, посмотрите туда-то и туда то, почистите такую- то и такую -то таблицу и больше такого быть не должно."


Последний раз редактировалось mhollow 06 май 2018, 18:30, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 18:30 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 27 мар 2012, 11:59
Сообщения: 2676
Карма: 72
Код:
 топ по размеру
      4860 MB   bgbilling/connection_log_entry_15_201708#P#p7.ibd
      4192 MB   bgbilling/connection_log_entry_15_201709#P#p7.ibd
      4076 MB   bgbilling/connection_log_entry_15_201710#P#p7.ibd
      3980 MB   bgbilling/connection_log_entry_15_201802#P#p7.ibd
      3864 MB   bgbilling/connection_log_entry_15_201707#P#p7.ibd
      3668 MB   bgbilling/connection_log_entry_15_201804#P#p7.ibd
      3568 MB   bgbilling/connection_log_entry_15_201801#P#p7.ibd
      3488 MB   bgbilling/connection_log_entry_15_201705#P#p7.ibd
      3352 MB   bgbilling/connection_log_entry_15_201711#P#p7.ibd
      3332 MB   bgbilling/connection_log_entry_15_201706#P#p7.ibd
[root@db2 mysql]# du -sh bgbilling/
117G   bgbilling/

20 тыс клиентов, в любом случае без чистки распухают логи и в inet (inet_session_log_*) и npay_detail
Раньше смотрел таблицы и чистил руками, потом взял DBA и он сам как то разбирается, в начале года чищу и все ок


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 18:44 
Не в сети

Зарегистрирован: 20 мар 2017, 14:10
Сообщения: 440
Карма: 0
Не знаком с функционалом DBA.
Насколько я смог понять, его нужно запускать каждый раз руками и выставлять какие-то желаемые значения давности таблиц.
Модуль будет генерировать скрипт по бэкапу и удалению указанных таблиц, который надо сохранять выполнять тоже руками?
Его даже поленились подружить с планировщиком?
Правильно?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 19:12 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 27 мар 2012, 11:59
Сообщения: 2676
Карма: 72
документация модуля
параметры срока выставляются один раз, в зависимости от ваших хотелок.
Да, бекап а потом удаление и его нужно сохранить и выполнить руками.
На счет планировщика, мне такое не нужно. Это слишком опасно, без контрольное удаление из бд, даже с бекапом (место для бекапа кончится, таблицы удалятся и все)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 19:27 
Не в сети

Зарегистрирован: 20 мар 2017, 14:10
Сообщения: 440
Карма: 0
Ну место кончится можно и проверять, что он собственно и так делает всякими check_error, и если кончилось не удалять.
Ничего особо опасного в удалении таблиц логов не вижу. В конце концов запилить все это по планировщику можно было бы, кому надо - юзает, кому опасно запускает руками и втыкает....
Так чистой воды лень матушка.


Последний раз редактировалось mhollow 10 май 2018, 13:19, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 19:59 
Не в сети
Клиент
Аватара пользователя

Зарегистрирован: 29 мар 2010, 23:11
Сообщения: 5854
Карма: 472
http://wiki.bitel.ru/index.php/%D0%93%D ... 0%B8%D1%86

_________________
Цитаты великих людей :umnik:
Напишите в helpdesk © stark
повторяю: => хелпдеск => доработка => профит © dimOn
свершилось... © skn
Мой код изящен, лёгок, оригинален, краток. Как прохладный весенний ветерок, как звонкий ручей! © dimOn
Вежливый разработчик © Artur
Эти баги тоже исправлены, как и те, которые еще не написаны © Artur
ну т.е. существует воркэраунд, ок © dimOn


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 23:20 
Не в сети

Зарегистрирован: 20 мар 2017, 14:10
Сообщения: 440
Карма: 0
Наверное это хорошо, и стоит внимания, спасибо.
Но хотелось бы конечно, официального решения от разработчиков а не костылей от Васей Пупкиных, которые точно страшно запускать не разобравшись в каждой строке. А этим заниматься вот вообще не интересно.
Проблема в каком-то виде так или иначе есть, что собственно подтверждается наличием этих всех поделок.

На роль официального решения по идее должен претендовать как раз модуль DBA, но в том виде в котором он есть это просто смешно. Не помню, платный он или нет, но если за это еще берут деньги....
По хорошему если уж выбрано решение хранить логи в таблицах в базе, причем создавать их пачками чуть ли не каждый день, то дайте штатный функционал для очистки этих таблиц. Нормальный причем, а не DBA... DBA - это лютая фигня.. А не кучу костылей то от себя, то непойми от кого: "Ищите на вики, там где-то было..." и в конце костыля пожелание "Удачи" )))
Но наверное я как всегда слишком дофига хочу и необоснованно критикую святое.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Большой размер базы
СообщениеДобавлено: 06 май 2018, 23:48 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
Цитата:
И как я сам не догадался.
Ну тут как раз многим понятен ответ, но он вам не понравится.

Есть тыщи вариантов конфигурации биллинга и наборов компонентов, какие-то модули пишут больше, какие-то меньше. Большинство крупных данных типа логов, запросов, железячных обращений вручную в конфиге включаются/выключаются.
Что вы ещё хотите услышать? Кто ваще знать может чего у вас там включено, что используется, что раздулось?
10гб это вообще ни о чём для БД.
Не нравятся костыли - идите в ХД и закажите идеальное решение таким как его видите.

_________________
I'm clever. I've got a computer.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.057s | 38 Queries | GZIP : On ]