forum.bitel.ru http://forum.bitel.ru/ |
|
Странное поведения мускула+тюнинг http://forum.bitel.ru/viewtopic.php?f=19&t=7877 |
Страница 1 из 2 |
Автор: | skyb [ 25 мар 2013, 18:25 ] |
Заголовок сообщения: | Странное поведения мускула+тюнинг |
Есть 2 сервера мускула, конфиг везде одинаковый, на одном 4 гига оперы и i3 на втором 8 гигов и i7 так вот на первом раздамп делается быстрей. Как сделать так чтоб раздам делался быстрей?разница в конфигах тока в размере выделяемой памяти Код: [mysqld]
datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock user=mysql #replc #server-id = 2 #relay-log = /var/lib/mysql/mysql-relay-bin #relay-log-index = /var/lib/mysql/mysql-relay-bin.index #replicate-do-db = bgbilling ###### # Default to using old password format for compatibility with mysql 3.x # clients (those using the mysqlclient10 compatibility package). old_passwords=1 default-storage-engine=InnoDB innodb_file_per_table # modified parameters #-500 by historical maximum on bill-1(8Gb) 248 on febr2009 #max_connections=500 #x2 max_allowed_packet=50M max_connections=1000 table_cache=4096 sort_buffer_size=8M join_buffer_size=8M thread_cache_size=384 thread_concurrency=12 #x0.25 query_cache_size = 64M query_cache_limit = 2M query_cache_type = 1 memlock tmp_table_size = 1G max_heap_table_size = 512M #x16 #key_buffer_size = 1G wait_timeout = 28800 # log slow queries #log-slow-queries=/var/log/slowquery.log # innodb #skip-innodb innodb_file_per_table innodb_additional_mem_pool_size = 16M #x8 innodb_buffer_pool_size = 1G innodb_thread_concurrency = 8 innodb_flush_log_at_trx_commit = 2 innodb_log_group_home_dir = /var/lib/mysql/ innodb_log_buffer_size = 8M innodb_log_file_size = 128M innodb_log_files_in_group = 2 innodb_max_dirty_pages_pct = 90 innodb_lock_wait_timeout = 120 ##Khadimulin innodb_flush_method = O_DIRECT ## # misc default-character-set=cp1251 default-collation=cp1251_general_ci myisam_data_pointer_size = 6 max_connections=5000 # Disabling symbolic-links is recommended to prevent assorted security risks; # to do so, uncomment this line: # symbolic-links=0 [mysqldump] max_allowed_packet=70M [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid open-files-limit=32000 [client] default-character-set=cp1251 |
Автор: | dimOn [ 25 мар 2013, 18:53 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
какой именно параметр то имеется в виду? |
Автор: | dimOn [ 25 мар 2013, 18:53 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
ОС и мускуль то, надеюсь, 64-битные? |
Автор: | snark [ 26 мар 2013, 02:26 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
skyb писал(а): раздамп WTF? skyb писал(а): Код: innodb_file_per_table ... innodb_file_per_table А почему всего 2 раза написано? На всякий случай: Код: память используемая мускулом ~= innodb_buffer_pool_size + innodb_log_file_size
|
Автор: | skyb [ 26 мар 2013, 05:42 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
dimOn писал(а): какой именно параметр то имеется в виду? innodb_buffer_pool_size = 1G Вот этот, на слабее машине, где разворачивается бд быстрей, он стоит 512M dimOn писал(а): ОС и мускуль то, надеюсь, 64-битные? ага snark писал(а): skyb писал(а): раздамп WTF? восстановление бд из дампа snark писал(а): skyb писал(а): Код: innodb_file_per_table ... innodb_file_per_table А почему всего 2 раза написано? На всякий случай: Код: память используемая мускулом ~= innodb_buffer_pool_size + innodb_log_file_size я два раза не повторяю, я два раза не повторяю. Затупил видать, но это проблему то не решает =) |
Автор: | Phricker [ 26 мар 2013, 10:58 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Винты одинаковые? Может скорость подводит. |
Автор: | skyb [ 26 мар 2013, 11:53 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Phricker писал(а): Винты одинаковые? Может скорость подводит. Да, одинаковые. А что можно сделать для создания реплики? Тоесть приходится приходить херпобеди када ночью, блочить запись таблиц, делать дам и тд, у меня не вышло сделать реплику изза ошибок, а эксперементы с раздампом это ужас |
Автор: | snark [ 26 мар 2013, 12:02 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
skyb писал(а): что можно сделать для создания реплики? Почитать же. skyb писал(а): приходится приходить херпобеди када ночью, блочить запись таблиц, делать дам Открой для себя cron |
Автор: | stark [ 26 мар 2013, 12:13 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
snark писал(а): skyb писал(а): что можно сделать для создания реплики? Почитать же. skyb писал(а): приходится приходить херпобеди када ночью, блочить запись таблиц, делать дам Открой для себя cron Еще есть ssh , незачем на работу ночью ходить |
Автор: | Phricker [ 26 мар 2013, 12:15 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
чувствую лучше бы skyb этого не писал |
Автор: | skyb [ 26 мар 2013, 12:21 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
ок, как по крону сделать блокировку таблиц выставив режим ридонли он, и что делать с ссх если инет упадет? а если он упадет когда будет база заливаться? |
Автор: | Phricker [ 26 мар 2013, 12:26 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
skyb писал(а): ок, как по крону сделать блокировку таблиц выставив режим ридонли он, и что делать с ссх если инет упадет? а если он упадет когда будет база заливаться? Купи свисток 3Г + подключись к своему же прову и прокинь себе домой локалку чтобы без инета было все ) |
Автор: | skyb [ 26 мар 2013, 13:11 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
в том то и проблема, что не все районы в охвате, так бы уже давно сделал. а 3г свисток не поможет, ну да ладно, не о доступе же ресь, а о мускуле, по нему чтонить ещё подсказать можете? |
Автор: | snark [ 26 мар 2013, 13:17 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
skyb писал(а): как по крону сделать блокировку таблиц выставив режим ридонли он Вставить в крон скрипт типа такого? Код: #!/bin/sh db_host='localhost' db_port='3306' db_name='bgbilling' db_user='bill' db_pass='bgbilling' dump_name='/path/to/bgbilling.sql' /path/to/mysql -h $db_host -P $db_port -u $db_user -p$db_pass -D $db_name -B -e "FLUSH TABLES WITH READ LOCK;SET GLOBAL read_only = ON;" > /dev/null 2>&1 cat <<SQL > $dump_name DROP DATABASE IF EXISTS bgbilling; CREATE DATABASE bgbilling DEFAULT CHARACTER SET cp1251 COLLATE cp1251_general_ci; USE bgbilling; SQL /path/to/mysqldump \ --default-character-set=cp1251 \ --skip-add-drop-table \ --skip-add-locks \ --skip-tz-utc \ $db_name >> $dump_name skyb писал(а): что делать с ссх если инет упадет? В твоей сети? Почему я не удивлен? skyb писал(а): если он упадет когда будет база заливаться? Если руки растут так, что не мешают сидеть - ничего не будет |
Автор: | skyb [ 26 мар 2013, 13:22 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
в том то и дело, что не в моей, нас в моем районе ещё нет |
Автор: | snark [ 26 мар 2013, 13:50 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Открой для себя:
|
Автор: | Phricker [ 26 мар 2013, 14:08 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Даааа screen это изобретение века вообще |
Автор: | snark [ 26 мар 2013, 14:49 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Есть в нашей стране города, до которых оно еще не дошло ))) |
Автор: | skyb [ 26 мар 2013, 17:27 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
это все замечательно, и это я все знаю, но, интересует не другие программки что то ещё, а что делать с мускулом |
Автор: | skyb [ 28 мар 2013, 13:12 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
snark писал(а): skyb писал(а): как по крону сделать блокировку таблиц выставив режим ридонли он Вставить в крон скрипт типа такого? Код: #!/bin/sh db_host='localhost' db_port='3306' db_name='bgbilling' db_user='bill' db_pass='bgbilling' dump_name='/path/to/bgbilling.sql' /path/to/mysql -h $db_host -P $db_port -u $db_user -p$db_pass -D $db_name -B -e "FLUSH TABLES WITH READ LOCK;SET GLOBAL read_only = ON;" > /dev/null 2>&1 cat <<SQL > $dump_name DROP DATABASE IF EXISTS bgbilling; CREATE DATABASE bgbilling DEFAULT CHARACTER SET cp1251 COLLATE cp1251_general_ci; USE bgbilling; SQL /path/to/mysqldump \ --default-character-set=cp1251 \ --skip-add-drop-table \ --skip-add-locks \ --skip-tz-utc \ $db_name >> $dump_name skyb писал(а): что делать с ссх если инет упадет? В твоей сети? Почему я не удивлен? skyb писал(а): если он упадет когда будет база заливаться? Если руки растут так, что не мешают сидеть - ничего не будет А что делать с абонентами когда выставлено ридонли? |
Автор: | snark [ 28 мар 2013, 13:26 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
А это уже 2-й вопрос ))) Ты просил сказать как сделать - я сказал, если ты не знаешь зачем тебе это или что делать в этом случае - чем я могу помочь, кроме совета делать это в 4-5 утра? |
Автор: | skyb [ 28 мар 2013, 16:35 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
snark писал(а): А это уже 2-й вопрос ))) Ты просил сказать как сделать - я сказал, если ты не знаешь зачем тебе это или что делать в этом случае - чем я могу помочь, кроме совета делать это в 4-5 утра? вот и я о том же, может кто то расскажет кто как бэкапит большие бд? |
Автор: | snark [ 28 мар 2013, 17:14 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Настрой реплику - оно само будет бекапится. |
Автор: | Злой ребёнок [ 28 мар 2013, 17:26 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
skyb писал(а): может кто то расскажет кто как бэкапит большие бд? Cron+LVM-snapshot+rsync. Подбробнее тут: http://wiki.bgbilling.ru/index.php/Database_backup |
Автор: | skyb [ 02 апр 2013, 12:16 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Вопросы по реплике, там есть бинарные логи, они отъедают не мало места, их можно удалять? каким правилом руководствоваться при удалении? |
Автор: | snark [ 02 апр 2013, 12:45 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
skyb писал(а): есть бинарные логи, они отъедают не мало места Только у тебя, т.к. у всех остальных скорее всего что-то типа такого: Код: max_binlog_size = 100M
expire_logs_days = 3 |
Автор: | skyb [ 02 апр 2013, 13:28 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
snark писал(а): skyb писал(а): есть бинарные логи, они отъедают не мало места Только у тебя, т.к. у всех остальных скорее всего что-то типа такого: Код: max_binlog_size = 100M expire_logs_days = 3 Снарк, я думаю ты тоже не все знаешь, для этого я на форум и залез |
Автор: | abu [ 02 апр 2013, 17:29 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
Про удаление бинарных логов: http://systems.takizo.com/2009/08/23/ho ... inary-log/ Нюансы, с которыми столкнулся (хотелось бы, кстати, обсудить это с более опытными, чем я, участниками форума, особенно пункт 2): 1. У меня не работала опция expire_logs_days пока не сделал PURGE BINARY LOG BEFORE , насколько помню, в документации (не в местной вики) это упоминается. 2. В штатных скриптах для mysql, запускаемых по крону раз в сутки, встречается команда типа mysqladmin flush-logs. В итоге я получил сбой реплики и создание кучи пустых файлов бинарных логов в момент срабатывания этой команды. Эффект был таким, что логи сливались, а сервер-мастер норовил их новые создавать. Об этом тоже упоминается в документации, но как-то сразу я не нашел, в итоге получил грабли. Обошел тем, что просто закомментарил эту команду. Мб, есть более правильное решение? |
Автор: | snark [ 02 апр 2013, 17:43 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
skyb писал(а): я думаю ты тоже не все знаешь Определенно не все. skyb писал(а): для этого я на форум и залез В аське было бы быстрее, не? abu писал(а): В штатных скриптах для mysql, запускаемых по крону раз в сутки, встречается команда типа mysqladmin flush-logs. 1. Зачем Вы запускаете mysql-log-rotate? Какие еще штатные скрипты Вы запускаете? 2. Бинарные логи для реплики просто необходимы, если Вы их удалили/обнулили - ССЗБ. |
Автор: | abu [ 02 апр 2013, 18:05 ] |
Заголовок сообщения: | Re: Странное поведения мускула+тюнинг |
snark писал(а): abu писал(а): В штатных скриптах для mysql, запускаемых по крону раз в сутки, встречается команда типа mysqladmin flush-logs. 1. Зачем Вы запускаете mysql-log-rotate? Какие еще штатные скрипты Вы запускаете? 2. Бинарные логи для реплики просто необходимы, если Вы их удалили/обнулили - ССЗБ. По первому пункту. Это не я, честно (: Это так по дефолту устанавливается mysql. С ротацией логов. По второму - согласен, необходимы. Делал все по здешней вики. Наткнулся на вышеприведенные грабли, о чем и написал, предполагая, что и кто-то другой может наткнуться на них же. |
Страница 1 из 2 | Часовой пояс: UTC + 5 часов [ Летнее время ] |
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |