forum.bitel.ru
http://forum.bitel.ru/

переполнение базы биллинга
http://forum.bitel.ru/viewtopic.php?f=22&t=1762		 Страница 1 из 2
Автор:  treas [ 25 дек 2008, 21:38 ]
Заголовок сообщения:  переполнение базы биллинга
В общем не так давно заметил странность размер бэкапов базы возрос с 1 до 3-4 гб за черезвычайно маленький промежуток времени (три-четыре дня) полез разбираться оказалось что размер базы биллига вырас по количеству записей даже выкопал таблицу которая ест так много места..
ежемесячно bgs_query_log вписывалось не более 30k-60k записей, А тут за декабрь уже 16kkk записей
решил временно обнулить таблицу но судя по всему проблема именно в биллинге потому что мои менеджеры не могут так усердно работать :) сборка 201
Автор:  skn [ 26 дек 2008, 00:33 ]
Заголовок сообщения: 
пробовали прочекать базу? команда myisamchk
Автор:  treas [ 27 дек 2008, 15:15 ]
Заголовок сообщения: 
Код:
#myisamchk --check bgs_query_log_122008.MYI
Checking MyISAM file: bgs_query_log_122008.MYI
Data records:    2830   Deleted blocks:       0
myisamchk: warning: 1 client is using or hasn't closed the table properly
- check file-size
- check record delete-chain
- check key delete-chain
- check index reference
- check data record references index: 1
- check data record references index: 2
- check data record references index: 3
- check data record references index: 4
- check record links
MyISAM-table 'bgs_query_log_122008.MYI' is usable but should be fixed
Автор:  snark [ 27 дек 2008, 17:33 ]
Заголовок сообщения: 
чтобы уменьшить размер - попробуйте:
Код:
OPTIMIZE TABLE имя_таблицы;

а myisamchk используйте только по прямому назначению, т.е. ремонту таблиц, да и то только после:
Код:
REPAIR TABLE имя_таблицы;

т.к. myisamchk все же довольно серьезный инструмент и использовать его нужно только когда уже ничего не помогает ;)
Автор:  skn [ 28 дек 2008, 14:25 ]
Заголовок сообщения: 
прочекайте при остановленом mysql
Автор:  treas [ 29 дек 2008, 12:05 ]
Заголовок сообщения: 
оке спасибо когда будет возможность прочекаю пока что вроде все хорошо
Автор:  Администратор [ 29 дек 2008, 18:51 ]
Заголовок сообщения: 
Цитата:
решил временно обнулить таблицу но судя по всему проблема именно в биллинге потому что мои менеджеры не могут так усердно работать Smile сборка 201

Анализ бы кратенький, что за запросы.. Может какая программа еще.
Автор:  skn [ 30 дек 2008, 00:01 ]
Заголовок сообщения: 
Код:
#myisamchk --check bgs_query_log_122008.MYI
Checking MyISAM file: bgs_query_log_122008.MYI
Data records:    2830   Deleted blocks:       0


судя по этому в этой таблице было 2830 записи.... по моему это немного запросов за месяц... если при этом таблица начила пухнуть, то обычно это говорить о повреждение файла с таблицей.
Автор:  Akhmat [ 31 дек 2008, 20:30 ]
Заголовок сообщения: 
аналогичная фигня за декабрь с этой таблицей. Таблицы за другие месяцы от 30 МБ-до 300 МБ. А за декабрь 3 ГИГА! Пока не чекал ни чего. Проанализирую таблицу после выходных.

Всех с наступающим!:)
Автор:  treas [ 03 янв 2009, 14:50 ]
Заголовок сообщения: 
skn писал(а):
Код:
#myisamchk --check bgs_query_log_122008.MYI
Checking MyISAM file: bgs_query_log_122008.MYI
Data records:    2830   Deleted blocks:       0


судя по этому в этой таблице было 2830 записи.... по моему это немного запросов за месяц... если при этом таблица начила пухнуть, то обычно это говорить о повреждение файла с таблицей.

ну это данные после сброса таблицы пришлось дропнуть потому что дамп базы делается очень часто в размер в целом начал превышать 4гб
зы прочекать пока не смог машинка работает без остановок
Автор:  skn [ 05 янв 2009, 17:47 ]
Заголовок сообщения: 
ну а посмотреть сколько записей в талице и каких не судьба? Для анализа проблемы нужна информация или Вы просто хотите что бы вас пожалели :)
Автор:  Akhmat [ 05 янв 2009, 17:49 ]
Заголовок сообщения: 
Похоже ЧЕРВЬ!( Со служебной сети, с служебных компов(не всех, нескольких) огромная куча запросов. пока разбираюсь почему такое возможно.
Автор:  Akhmat [ 06 янв 2009, 22:39 ]
Заголовок сообщения: 
Собственно это и итог) Огромное количество запросов, к биллингу и с некоторых служебных машин. и с некоторых клиентских машин к личному кабинету.

Незнаю даже... Почему такое происходит? :(

Спасибо!
Автор:  Akhmat [ 06 янв 2009, 22:54 ]
Заголовок сообщения: 
skn писал(а):
ну а посмотреть сколько записей в талице и каких не судьба? Для анализа проблемы нужна информация или Вы просто хотите что бы вас пожалели :)

конкретнее какую информацию предоставить? могу лог файл кинуть(access_log из логов биллинга, или дамп таблицы bgs_query_log). На словах, там запросов короче, много:)
Автор:  skn [ 08 янв 2009, 00:03 ]
Заголовок сообщения: 
Каких запросов? Одинаковые или разные? В какое время (все время или периодически)? Что запущено на компах с которых идут запросы, запущен ли клиент биллинга и т.д. Может кто то из ваших сотрудников пытается подобрать пароль?
Автор:  Akhmat [ 02 фев 2009, 16:55 ]
Заголовок сообщения: 
skn писал(а):
Каких запросов? Одинаковые или разные? В какое время (все время или периодически)? Что запущено на компах с которых идут запросы, запущен ли клиент биллинга и т.д. Может кто то из ваших сотрудников пытается подобрать пароль?


Короче, мне обещают тут хитро настроить фаервол както, чтобы в единицу времени не много запросов было. Но пока проблема остаётся. За вчерашний день, флуд большой на биллинге, 200 М аксес логов, со служебного компа(его переустанавливали, и чистили не один раз, бывает флуд, и с клиентских компьютеров, на личный кабинет. Не у всех, с некоторыми компами бывает)

На том компе, запущен клиент.
Код:
...
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.015 200 887 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalanceDetail&date2=31.01.2009&date1=01.01.2009&
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.000 200 496 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalance&date2=31.01.2009&date1=01.01.2009&
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.016 200 887 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalanceDetail&date2=31.01.2009&date1=01.01.2009&
X.X.X.X 5D91F2C9DD982C9235B743FA42155F0C [01/Feb/2009:15:00:39 +0300] 0.109 200 496 "POST /bgbilling/executer HTTP/1.1" UID=20 module=contract&cid=36246&action=ContractBalance&date2=31.01.2009&date1=01.01.2009&
...


Вот этих запросов вроде как больше всего. Вроде как одинаковые параметры запроса. За другие дни тоже глянул, когда флуд, запросы одинаковые(на первый взгляд).

Могу скинуть логи в личку. Надо?
Автор:  dimOn [ 02 фев 2009, 17:08 ]
Заголовок сообщения: 
ну, дык, IP то видно - проверьте кто с этой машины спамит. Это биллинг-клиент запросы шлёт или кто?

не похоже на клиент биллинга, не припомню там мест, которые могут таким образом зациклиться.
Автор:  Akhmat [ 02 фев 2009, 17:16 ]
Заголовок сообщения: 
Видно, ИП компьютера с тех поддержки. Он и перед этим спамил, говорил уже об этом. Его переустанавливали, чистили, всё как надо.

Там и другие повторяющиеся запросы есть) Вчера был такой.

Это вирусян или может ещё что? И что делать))
Автор:  Akhmat [ 02 фев 2009, 17:21 ]
Заголовок сообщения: 
Добавлю, с этого рабочего места сидят каждый день. Но флуд бывает не каждый день. А так, через день, через два
Автор:  dimOn [ 02 фев 2009, 18:14 ]
Заголовок сообщения: 
Ну, тут уже только телепатически догадаться можно. В общем, я затрудняюсь предположить, откуда из нашего клиента могут идти такие запросы...
Автор:  Akhmat [ 02 фев 2009, 18:40 ]
Заголовок сообщения: 
:)
Могу лог скинуть, или что попросите чтоб достаточно для анализа?
Автор:  dimOn [ 03 фев 2009, 14:02 ]
Заголовок сообщения: 
Вот этот вот лог выше - это откуда именно лог?
В логах клиента нету подобного? Там тоже все запросы фиксируются в лог в при debug-запуске.
Автор:  Akhmat [ 03 фев 2009, 14:37 ]
Заголовок сообщения: 
Это аксес_лог бгбиллинг сервера. Клиент запускался не в дебаге. Хотя пару дней попрошу пацанов чтоб через дебаг поработали(флудит не каждый день).
Автор:  dimOn [ 03 фев 2009, 14:40 ]
Заголовок сообщения: 
Akhmat писал(а):
Это аксес_лог бгбиллинг сервера. Клиент запускался не в дебаге. Хотя пару дней попрошу пацанов чтоб через дебаг поработали(флудит не каждый день).
Я к тому, что надо сравнить логи сервера и клиента в момент флуда. Тем самым можно точно определить - биллингклиент ли это флудит, либо кто-то посторонний.
Автор:  Akhmat [ 03 фев 2009, 14:47 ]
Заголовок сообщения: 
Понятно, попросил чуваков, чтобы лог клиента всякий раз сохраняли. Как будет флуд, гляну. Спасибо :)
Автор:  Akhmat [ 05 фев 2009, 14:55 ]
Заголовок сообщения: 
Есть флуд, есть лог клиента. Флудит именно клиент. Теже самые запросы. Могу скинуть оба лога.
Клиент сборка 194 от 23.10.2008
Автор:  dimOn [ 05 фев 2009, 15:26 ]
Заголовок сообщения: 
Да, скиньте оба лога, пожалуйста...
Автор:  Akhmat [ 05 фев 2009, 16:00 ]
Заголовок сообщения: 
Отправил на почту.
Автор:  Akhmat [ 10 фев 2009, 13:48 ]
Заголовок сообщения: 
up
Автор:  dimOn [ 11 фев 2009, 12:24 ]
Заголовок сообщения: 
В общем, поизучал логи и исходники. Это всё нормально. Это действие (ContractBalanceDetail) вызывается только в одном месте - в карточке договора, в ветке [Баланс]/[Исходящий остаток] (Или кнопка [Баланс дет.]). Нигде не зацикливается. Но так устроено, что это действие неоднократно происходит при любой операции в этом Табе - обновить/удалить/.. итд. Так что скорее всего производились некие действия в этом месте. Не уверен, что это правильно - пока не разбирался в коде - но точно закономерно, так что страшного в этом ничего нету.
Страница 1 из 2 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/