forum.bitel.ru
http://forum.bitel.ru/

Странное поведения мускула+тюнинг
http://forum.bitel.ru/viewtopic.php?f=19&t=7877
Страница 1 из 2

Автор:  skyb [ 25 мар 2013, 18:25 ]
Заголовок сообщения:  Странное поведения мускула+тюнинг

Есть 2 сервера мускула, конфиг везде одинаковый, на одном 4 гига оперы и i3 на втором 8 гигов и i7 так вот на первом раздамп делается быстрей. Как сделать так чтоб раздам делался быстрей?разница в конфигах тока в размере выделяемой памяти
Код:
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
#replc
#server-id = 2
#relay-log = /var/lib/mysql/mysql-relay-bin
#relay-log-index = /var/lib/mysql/mysql-relay-bin.index
#replicate-do-db = bgbilling
######
# Default to using old password format for compatibility with mysql 3.x
# clients (those using the mysqlclient10 compatibility package).
old_passwords=1
default-storage-engine=InnoDB
innodb_file_per_table

# modified parameters
#-500 by historical maximum on bill-1(8Gb) 248 on febr2009
#max_connections=500
#x2
max_allowed_packet=50M
max_connections=1000
table_cache=4096
sort_buffer_size=8M
join_buffer_size=8M
thread_cache_size=384
thread_concurrency=12
#x0.25
query_cache_size = 64M
query_cache_limit = 2M
query_cache_type = 1
memlock
tmp_table_size = 1G
max_heap_table_size = 512M
#x16
#key_buffer_size = 1G
wait_timeout = 28800

# log slow queries
#log-slow-queries=/var/log/slowquery.log

# innodb
#skip-innodb
innodb_file_per_table
innodb_additional_mem_pool_size = 16M
#x8
innodb_buffer_pool_size = 1G
innodb_thread_concurrency = 8
innodb_flush_log_at_trx_commit = 2
innodb_log_group_home_dir = /var/lib/mysql/
innodb_log_buffer_size = 8M
innodb_log_file_size = 128M
innodb_log_files_in_group = 2
innodb_max_dirty_pages_pct = 90
innodb_lock_wait_timeout = 120
##Khadimulin
innodb_flush_method = O_DIRECT
##
# misc
default-character-set=cp1251
default-collation=cp1251_general_ci

myisam_data_pointer_size = 6
max_connections=5000
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links=0
[mysqldump]
max_allowed_packet=70M


[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
open-files-limit=32000

[client]
default-character-set=cp1251

Автор:  dimOn [ 25 мар 2013, 18:53 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

какой именно параметр то имеется в виду?

Автор:  dimOn [ 25 мар 2013, 18:53 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

ОС и мускуль то, надеюсь, 64-битные?

Автор:  snark [ 26 мар 2013, 02:26 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

skyb писал(а):
раздамп

WTF?

skyb писал(а):
Код:
innodb_file_per_table
...
innodb_file_per_table


А почему всего 2 раза написано? :facepalm:

На всякий случай:
Код:
память используемая мускулом ~= innodb_buffer_pool_size + innodb_log_file_size

Автор:  skyb [ 26 мар 2013, 05:42 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

dimOn писал(а):
какой именно параметр то имеется в виду?

innodb_buffer_pool_size = 1G
Вот этот, на слабее машине, где разворачивается бд быстрей, он стоит 512M
dimOn писал(а):
ОС и мускуль то, надеюсь, 64-битные?

ага
snark писал(а):
skyb писал(а):
раздамп

WTF?

восстановление бд из дампа
snark писал(а):
skyb писал(а):
Код:
innodb_file_per_table
...
innodb_file_per_table


А почему всего 2 раза написано? :facepalm:

На всякий случай:
Код:
память используемая мускулом ~= innodb_buffer_pool_size + innodb_log_file_size

я два раза не повторяю, я два раза не повторяю. Затупил видать, но это проблему то не решает =)

Автор:  Phricker [ 26 мар 2013, 10:58 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Винты одинаковые? Может скорость подводит.

Автор:  skyb [ 26 мар 2013, 11:53 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Phricker писал(а):
Винты одинаковые? Может скорость подводит.

Да, одинаковые. А что можно сделать для создания реплики? Тоесть приходится приходить херпобеди када ночью, блочить запись таблиц, делать дам и тд, у меня не вышло сделать реплику изза ошибок, а эксперементы с раздампом это ужас

Автор:  snark [ 26 мар 2013, 12:02 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

skyb писал(а):
что можно сделать для создания реплики?

Почитать же.

skyb писал(а):
приходится приходить херпобеди када ночью, блочить запись таблиц, делать дам

Открой для себя cron ;)

Автор:  stark [ 26 мар 2013, 12:13 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

snark писал(а):
skyb писал(а):
что можно сделать для создания реплики?

Почитать же.

skyb писал(а):
приходится приходить херпобеди када ночью, блочить запись таблиц, делать дам

Открой для себя cron ;)

Еще есть ssh , незачем на работу ночью ходить :)

Автор:  Phricker [ 26 мар 2013, 12:15 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

чувствую лучше бы skyb этого не писал :D

Автор:  skyb [ 26 мар 2013, 12:21 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

ок, как по крону сделать блокировку таблиц выставив режим ридонли он, и что делать с ссх если инет упадет? а если он упадет когда будет база заливаться?

Автор:  Phricker [ 26 мар 2013, 12:26 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

skyb писал(а):
ок, как по крону сделать блокировку таблиц выставив режим ридонли он, и что делать с ссх если инет упадет? а если он упадет когда будет база заливаться?

Купи свисток 3Г + подключись к своему же прову и прокинь себе домой локалку чтобы без инета было все )

Автор:  skyb [ 26 мар 2013, 13:11 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

в том то и проблема, что не все районы в охвате, так бы уже давно сделал. а 3г свисток не поможет, ну да ладно, не о доступе же ресь, а о мускуле, по нему чтонить ещё подсказать можете?

Автор:  snark [ 26 мар 2013, 13:17 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

skyb писал(а):
как по крону сделать блокировку таблиц выставив режим ридонли он

Вставить в крон скрипт типа такого?
Код:
#!/bin/sh

db_host='localhost'
db_port='3306'
db_name='bgbilling'
db_user='bill'
db_pass='bgbilling'

dump_name='/path/to/bgbilling.sql'


/path/to/mysql -h $db_host -P $db_port -u $db_user -p$db_pass -D $db_name -B -e "FLUSH TABLES WITH READ LOCK;SET GLOBAL read_only = ON;" > /dev/null 2>&1

cat <<SQL > $dump_name
DROP DATABASE IF EXISTS bgbilling;
CREATE DATABASE bgbilling DEFAULT CHARACTER SET cp1251 COLLATE cp1251_general_ci;
USE bgbilling;
SQL

/path/to/mysqldump \
--default-character-set=cp1251 \
--skip-add-drop-table \
--skip-add-locks \
--skip-tz-utc \
$db_name >> $dump_name



skyb писал(а):
что делать с ссх если инет упадет?

В твоей сети? Почему я не удивлен? :)


skyb писал(а):
если он упадет когда будет база заливаться?

Если руки растут так, что не мешают сидеть - ничего не будет :)

Автор:  skyb [ 26 мар 2013, 13:22 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

в том то и дело, что не в моей, нас в моем районе ещё нет

Автор:  snark [ 26 мар 2013, 13:50 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Открой для себя:
  • ключик &, т.е. запуск
    Код:
    /path/to/script.sh &

    запустит скрипт в фоне
  • screen - этот вообще виртуальный терминал
  • ??? - что-то еще, чего сразу не вспомнил

Автор:  Phricker [ 26 мар 2013, 14:08 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Даааа screen это изобретение века вообще

Автор:  snark [ 26 мар 2013, 14:49 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Есть в нашей стране города, до которых оно еще не дошло )))

Автор:  skyb [ 26 мар 2013, 17:27 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

это все замечательно, и это я все знаю, но, интересует не другие программки что то ещё, а что делать с мускулом

Автор:  skyb [ 28 мар 2013, 13:12 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

snark писал(а):
skyb писал(а):
как по крону сделать блокировку таблиц выставив режим ридонли он

Вставить в крон скрипт типа такого?
Код:
#!/bin/sh

db_host='localhost'
db_port='3306'
db_name='bgbilling'
db_user='bill'
db_pass='bgbilling'

dump_name='/path/to/bgbilling.sql'


/path/to/mysql -h $db_host -P $db_port -u $db_user -p$db_pass -D $db_name -B -e "FLUSH TABLES WITH READ LOCK;SET GLOBAL read_only = ON;" > /dev/null 2>&1

cat <<SQL > $dump_name
DROP DATABASE IF EXISTS bgbilling;
CREATE DATABASE bgbilling DEFAULT CHARACTER SET cp1251 COLLATE cp1251_general_ci;
USE bgbilling;
SQL

/path/to/mysqldump \
--default-character-set=cp1251 \
--skip-add-drop-table \
--skip-add-locks \
--skip-tz-utc \
$db_name >> $dump_name



skyb писал(а):
что делать с ссх если инет упадет?

В твоей сети? Почему я не удивлен? :)


skyb писал(а):
если он упадет когда будет база заливаться?

Если руки растут так, что не мешают сидеть - ничего не будет :)

А что делать с абонентами когда выставлено ридонли?

Автор:  snark [ 28 мар 2013, 13:26 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

А это уже 2-й вопрос )))
Ты просил сказать как сделать - я сказал, если ты не знаешь зачем тебе это или что делать в этом случае - чем я могу помочь, кроме совета делать это в 4-5 утра?

Автор:  skyb [ 28 мар 2013, 16:35 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

snark писал(а):
А это уже 2-й вопрос )))
Ты просил сказать как сделать - я сказал, если ты не знаешь зачем тебе это или что делать в этом случае - чем я могу помочь, кроме совета делать это в 4-5 утра?

вот и я о том же, может кто то расскажет кто как бэкапит большие бд?

Автор:  snark [ 28 мар 2013, 17:14 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Настрой реплику - оно само будет бекапится.

Автор:  Злой ребёнок [ 28 мар 2013, 17:26 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

skyb писал(а):
может кто то расскажет кто как бэкапит большие бд?


Cron+LVM-snapshot+rsync. Подбробнее тут: http://wiki.bgbilling.ru/index.php/Database_backup :roll:

Автор:  skyb [ 02 апр 2013, 12:16 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Вопросы по реплике, там есть бинарные логи, они отъедают не мало места, их можно удалять? каким правилом руководствоваться при удалении?

Автор:  snark [ 02 апр 2013, 12:45 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

skyb писал(а):
есть бинарные логи, они отъедают не мало места

Только у тебя, т.к. у всех остальных скорее всего что-то типа такого:
Код:
max_binlog_size  = 100M
expire_logs_days = 3

Автор:  skyb [ 02 апр 2013, 13:28 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

snark писал(а):
skyb писал(а):
есть бинарные логи, они отъедают не мало места

Только у тебя, т.к. у всех остальных скорее всего что-то типа такого:
Код:
max_binlog_size  = 100M
expire_logs_days = 3

Снарк, я думаю ты тоже не все знаешь, для этого я на форум и залез

Автор:  abu [ 02 апр 2013, 17:29 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

Про удаление бинарных логов: http://systems.takizo.com/2009/08/23/ho ... inary-log/

Нюансы, с которыми столкнулся (хотелось бы, кстати, обсудить это с более опытными, чем я, участниками форума, особенно пункт 2):

1. У меня не работала опция expire_logs_days пока не сделал PURGE BINARY LOG BEFORE , насколько помню, в документации (не в местной вики) это упоминается.
2. В штатных скриптах для mysql, запускаемых по крону раз в сутки, встречается команда типа mysqladmin flush-logs. В итоге я получил сбой реплики и создание кучи пустых файлов бинарных логов в момент срабатывания этой команды. Эффект был таким, что логи сливались, а сервер-мастер норовил их новые создавать. Об этом тоже упоминается в документации, но как-то сразу я не нашел, в итоге получил грабли. Обошел тем, что просто закомментарил эту команду. Мб, есть более правильное решение?

Автор:  snark [ 02 апр 2013, 17:43 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

skyb писал(а):
я думаю ты тоже не все знаешь

Определенно не все.

skyb писал(а):
для этого я на форум и залез

В аське было бы быстрее, не?

abu писал(а):
В штатных скриптах для mysql, запускаемых по крону раз в сутки, встречается команда типа mysqladmin flush-logs.

1. Зачем Вы запускаете mysql-log-rotate? Какие еще штатные скрипты Вы запускаете?
2. Бинарные логи для реплики просто необходимы, если Вы их удалили/обнулили - ССЗБ.

Автор:  abu [ 02 апр 2013, 18:05 ]
Заголовок сообщения:  Re: Странное поведения мускула+тюнинг

snark писал(а):

abu писал(а):
В штатных скриптах для mysql, запускаемых по крону раз в сутки, встречается команда типа mysqladmin flush-logs.

1. Зачем Вы запускаете mysql-log-rotate? Какие еще штатные скрипты Вы запускаете?
2. Бинарные логи для реплики просто необходимы, если Вы их удалили/обнулили - ССЗБ.


По первому пункту. Это не я, честно (: Это так по дефолту устанавливается mysql. С ротацией логов.
По второму - согласен, необходимы. Делал все по здешней вики. Наткнулся на вышеприведенные грабли, о чем и написал, предполагая, что и кто-то другой может наткнуться на них же.

Страница 1 из 2 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/