BiTel

Форум BiTel		 bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 20 июн 2025, 22:46

Сообщения без ответов | Активные темы


Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]



Начать новую тему Ответить на тему  Страница 1 из 2
  [ Сообщений: 34 ]  На страницу 1, 2  След.
  Версия для печати Пред. тема | След. тема 
Автор Сообщение
treas
 Заголовок сообщения: переполнение базы биллинга
СообщениеДобавлено: 25 дек 2008, 21:38 
В общем не так давно заметил странность размер бэкапов базы возрос с 1 до 3-4 гб за черезвычайно маленький промежуток времени (три-четыре дня) полез разбираться оказалось что размер базы биллига вырас по количеству записей даже выкопал таблицу которая ест так много места..
ежемесячно bgs_query_log вписывалось не более 30k-60k записей, А тут за декабрь уже 16kkk записей
решил временно обнулить таблицу но судя по всему проблема именно в биллинге потому что мои менеджеры не могут так усердно работать :) сборка 201
Вернуться к началу
  
 
skn
 Заголовок сообщения:
СообщениеДобавлено: 26 дек 2008, 00:33 
Не в сети
Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187
пробовали прочекать базу? команда myisamchk
Вернуться к началу
 Профиль  
 
treas
 Заголовок сообщения:
СообщениеДобавлено: 27 дек 2008, 15:15 
Код:
#myisamchk --check bgs_query_log_122008.MYI
Checking MyISAM file: bgs_query_log_122008.MYI
Data records:    2830   Deleted blocks:       0
myisamchk: warning: 1 client is using or hasn't closed the table properly
- check file-size
- check record delete-chain
- check key delete-chain
- check index reference
- check data record references index: 1
- check data record references index: 2
- check data record references index: 3
- check data record references index: 4
- check record links
MyISAM-table 'bgs_query_log_122008.MYI' is usable but should be fixed
Вернуться к началу
  
 
snark
 Заголовок сообщения:
СообщениеДобавлено: 27 дек 2008, 17:33 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
чтобы уменьшить размер - попробуйте:
Код:
OPTIMIZE TABLE имя_таблицы;

а myisamchk используйте только по прямому назначению, т.е. ремонту таблиц, да и то только после:
Код:
REPAIR TABLE имя_таблицы;

т.к. myisamchk все же довольно серьезный инструмент и использовать его нужно только когда уже ничего не помогает ;)
Вернуться к началу
 Профиль  
 
skn
 Заголовок сообщения:
СообщениеДобавлено: 28 дек 2008, 14:25 
Не в сети
Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187
прочекайте при остановленом mysql
Вернуться к началу
 Профиль  
 
treas
 Заголовок сообщения:
СообщениеДобавлено: 29 дек 2008, 12:05 
оке спасибо когда будет возможность прочекаю пока что вроде все хорошо
Вернуться к началу
  
 
Администратор
 Заголовок сообщения:
СообщениеДобавлено: 29 дек 2008, 18:51 
Не в сети
Разработчик

Зарегистрирован: 27 ноя 2006, 20:36
Сообщения: 5715
Карма: 93
Цитата:
решил временно обнулить таблицу но судя по всему проблема именно в биллинге потому что мои менеджеры не могут так усердно работать Smile сборка 201

Анализ бы кратенький, что за запросы.. Может какая программа еще.
Вернуться к началу
 Профиль  
 
skn
 Заголовок сообщения:
СообщениеДобавлено: 30 дек 2008, 00:01 
Не в сети
Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187
Код:
#myisamchk --check bgs_query_log_122008.MYI
Checking MyISAM file: bgs_query_log_122008.MYI
Data records:    2830   Deleted blocks:       0


судя по этому в этой таблице было 2830 записи.... по моему это немного запросов за месяц... если при этом таблица начила пухнуть, то обычно это говорить о повреждение файла с таблицей.
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 31 дек 2008, 20:30 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
аналогичная фигня за декабрь с этой таблицей. Таблицы за другие месяцы от 30 МБ-до 300 МБ. А за декабрь 3 ГИГА! Пока не чекал ни чего. Проанализирую таблицу после выходных.

Всех с наступающим!:)
Вернуться к началу
 Профиль  
 
treas
 Заголовок сообщения:
СообщениеДобавлено: 03 янв 2009, 14:50 
skn писал(а):
Код:
#myisamchk --check bgs_query_log_122008.MYI
Checking MyISAM file: bgs_query_log_122008.MYI
Data records:    2830   Deleted blocks:       0


судя по этому в этой таблице было 2830 записи.... по моему это немного запросов за месяц... если при этом таблица начила пухнуть, то обычно это говорить о повреждение файла с таблицей.

ну это данные после сброса таблицы пришлось дропнуть потому что дамп базы делается очень часто в размер в целом начал превышать 4гб
зы прочекать пока не смог машинка работает без остановок
Вернуться к началу
  
 
skn
 Заголовок сообщения:
СообщениеДобавлено: 05 янв 2009, 17:47 
Не в сети
Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187
ну а посмотреть сколько записей в талице и каких не судьба? Для анализа проблемы нужна информация или Вы просто хотите что бы вас пожалели :)
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 05 янв 2009, 17:49 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Похоже ЧЕРВЬ!( Со служебной сети, с служебных компов(не всех, нескольких) огромная куча запросов. пока разбираюсь почему такое возможно.
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 06 янв 2009, 22:39 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Собственно это и итог) Огромное количество запросов, к биллингу и с некоторых служебных машин. и с некоторых клиентских машин к личному кабинету.

Незнаю даже... Почему такое происходит? :(

Спасибо!
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 06 янв 2009, 22:54 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
skn писал(а):
ну а посмотреть сколько записей в талице и каких не судьба? Для анализа проблемы нужна информация или Вы просто хотите что бы вас пожалели :)

конкретнее какую информацию предоставить? могу лог файл кинуть(access_log из логов биллинга, или дамп таблицы bgs_query_log). На словах, там запросов короче, много:)
Вернуться к началу
 Профиль  
 
skn
 Заголовок сообщения:
СообщениеДобавлено: 08 янв 2009, 00:03 
Не в сети
Разработчик

Зарегистрирован: 07 апр 2007, 23:51
Сообщения: 4494
Откуда: Уфа, Россия
Карма: 187
Каких запросов? Одинаковые или разные? В какое время (все время или периодически)? Что запущено на компах с которых идут запросы, запущен ли клиент биллинга и т.д. Может кто то из ваших сотрудников пытается подобрать пароль?
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 02 фев 2009, 16:55 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
skn писал(а):
Каких запросов? Одинаковые или разные? В какое время (все время или периодически)? Что запущено на компах с которых идут запросы, запущен ли клиент биллинга и т.д. Может кто то из ваших сотрудников пытается подобрать пароль?


Короче, мне обещают тут хитро настроить фаервол както, чтобы в единицу времени не много запросов было. Но пока проблема остаётся. За вчерашний день, флуд большой на биллинге, 200 М аксес логов, со служебного компа(его переустанавливали, и чистили не один раз, бывает флуд, и с клиентских компьютеров, на личный кабинет. Не у всех, с некоторыми компами бывает)

На том компе, запущен клиент.
Код:
...
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.015 200 887 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalanceDetail&date2=31.01.2009&date1=01.01.2009&
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.000 200 496 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalance&date2=31.01.2009&date1=01.01.2009&
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.016 200 887 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalanceDetail&date2=31.01.2009&date1=01.01.2009&
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.109 200 496 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalance&date2=31.01.2009&date1=01.01.2009&
...


Вот этих запросов вроде как больше всего. Вроде как одинаковые параметры запроса. За другие дни тоже глянул, когда флуд, запросы одинаковые(на первый взгляд).

Могу скинуть логи в личку. Надо?
Вернуться к началу
 Профиль  
 
dimOn
 Заголовок сообщения:
СообщениеДобавлено: 02 фев 2009, 17:08 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
ну, дык, IP то видно - проверьте кто с этой машины спамит. Это биллинг-клиент запросы шлёт или кто?

не похоже на клиент биллинга, не припомню там мест, которые могут таким образом зациклиться.
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 02 фев 2009, 17:16 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Видно, ИП компьютера с тех поддержки. Он и перед этим спамил, говорил уже об этом. Его переустанавливали, чистили, всё как надо.

Там и другие повторяющиеся запросы есть) Вчера был такой.

Это вирусян или может ещё что? И что делать))
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 02 фев 2009, 17:21 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Добавлю, с этого рабочего места сидят каждый день. Но флуд бывает не каждый день. А так, через день, через два
Вернуться к началу
 Профиль  
 
dimOn
 Заголовок сообщения:
СообщениеДобавлено: 02 фев 2009, 18:14 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
Ну, тут уже только телепатически догадаться можно. В общем, я затрудняюсь предположить, откуда из нашего клиента могут идти такие запросы...
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 02 фев 2009, 18:40 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
:)
Могу лог скинуть, или что попросите чтоб достаточно для анализа?
Вернуться к началу
 Профиль  
 
dimOn
 Заголовок сообщения:
СообщениеДобавлено: 03 фев 2009, 14:02 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
Вот этот вот лог выше - это откуда именно лог?
В логах клиента нету подобного? Там тоже все запросы фиксируются в лог в при debug-запуске.
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 03 фев 2009, 14:37 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Это аксес_лог бгбиллинг сервера. Клиент запускался не в дебаге. Хотя пару дней попрошу пацанов чтоб через дебаг поработали(флудит не каждый день).
Вернуться к началу
 Профиль  
 
dimOn
 Заголовок сообщения:
СообщениеДобавлено: 03 фев 2009, 14:40 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
Akhmat писал(а):
Это аксес_лог бгбиллинг сервера. Клиент запускался не в дебаге. Хотя пару дней попрошу пацанов чтоб через дебаг поработали(флудит не каждый день).
Я к тому, что надо сравнить логи сервера и клиента в момент флуда. Тем самым можно точно определить - биллингклиент ли это флудит, либо кто-то посторонний.
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 03 фев 2009, 14:47 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Понятно, попросил чуваков, чтобы лог клиента всякий раз сохраняли. Как будет флуд, гляну. Спасибо :)
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 05 фев 2009, 14:55 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Есть флуд, есть лог клиента. Флудит именно клиент. Теже самые запросы. Могу скинуть оба лога.
Клиент сборка 194 от 23.10.2008
Вернуться к началу
 Профиль  
 
dimOn
 Заголовок сообщения:
СообщениеДобавлено: 05 фев 2009, 15:26 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
Да, скиньте оба лога, пожалуйста...
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 05 фев 2009, 16:00 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
Отправил на почту.
Вернуться к началу
 Профиль  
 
Akhmat
 Заголовок сообщения:
СообщениеДобавлено: 10 фев 2009, 13:48 
Не в сети

Зарегистрирован: 05 окт 2007, 13:36
Сообщения: 1073
Карма: 46
up
Вернуться к началу
 Профиль  
 
dimOn
 Заголовок сообщения:
СообщениеДобавлено: 11 фев 2009, 12:24 
Не в сети
Аватара пользователя

Зарегистрирован: 30 май 2008, 15:51
Сообщения: 6055
Карма: 244
В общем, поизучал логи и исходники. Это всё нормально. Это действие (ContractBalanceDetail) вызывается только в одном месте - в карточке договора, в ветке [Баланс]/[Исходящий остаток] (Или кнопка [Баланс дет.]). Нигде не зацикливается. Но так устроено, что это действие неоднократно происходит при любой операции в этом Табе - обновить/удалить/.. итд. Так что скорее всего производились некие действия в этом месте. Не уверен, что это правильно - пока не разбирался в коде - но точно закономерно, так что страшного в этом ничего нету.
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  Страница 1 из 2
  [ Сообщений: 34 ]  На страницу 1, 2  След.

Список форумов » BGBilling » Ядро системы

Часовой пояс: UTC + 5 часов [ Летнее время ]

Кто сейчас на конференции

Сейчас этот форум просматривают: Google [Bot] и гости: 1

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.065s | 69 Queries | GZIP : On ]