forum.bitel.ru
http://forum.bitel.ru/

Кому требуется высокая скорость записи
http://forum.bitel.ru/viewtopic.php?f=25&t=7999
Страница 1 из 1

Автор:  Magistr [ 29 апр 2013, 08:30 ]
Заголовок сообщения:  Кому требуется высокая скорость записи

Good news everyone Высокопроизводительный MySQL-движок TokuDB переведён в разряд открытых проектов
Компания Tokutek открыла исходные тексты проекта TokuDB (Tokutek storage engine), в рамках которого развивается высокопроизводительный транзакционный движок хранения для MySQL и MariaDB. Вместо классических B-tree деревьев в TokuDB применяются рекурсивные индексы (Fractal Tree indexes), что в сочетании с хранением данных в сжатом виде, позволяет значительно оптимизировать операции ввода/вывода.

При проведении тестов, TokuDB опережает InnoDB при добавлении больших объемов данных более чем в 10 раз (InnoDB 1,555 записей в сек, TokuDB 16,437 записей в сек), но проигрывает по степени нагрузки на CPU при выборке данных.

http://www.opennet.ru/opennews/art.shtml?num=36779 соус

Автор:  skyb [ 29 апр 2013, 08:48 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

хорошая вещь, разработчики, будет поддерживать биллинг?

Автор:  dimOn [ 29 апр 2013, 13:46 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

тут нельзя ответить, нужно брать и пробовать

Автор:  skyb [ 29 апр 2013, 13:49 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

dimOn писал(а):
тут нельзя ответить, нужно брать и пробовать

когда будите пробовать? =)

Автор:  dimOn [ 29 апр 2013, 13:52 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

skyb писал(а):
dimOn писал(а):
тут нельзя ответить, нужно брать и пробовать

когда будите пробовать? =)

А у нас никто не спит, все работают :umnik:

Автор:  skyb [ 29 апр 2013, 13:55 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

dimOn писал(а):
skyb писал(а):
dimOn писал(а):
тут нельзя ответить, нужно брать и пробовать

когда будите пробовать? =)

А у нас никто не спит, все работают :umnik:

димон, че принимаете? )))))))

Автор:  skn [ 29 апр 2013, 14:00 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

skyb писал(а):
dimOn писал(а):
тут нельзя ответить, нужно брать и пробовать

когда будите пробовать? =)


ну если он на уровне комманд совместим с innodb, можете попробовать :-)

Автор:  Phricker [ 29 апр 2013, 14:05 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

Интересно зачем skyb'у нужна настолько высокая скорость записи :)
Цитата:
но проигрывает по степени нагрузки на CPU при выборке данных. ....
Недостаточная эффективность выборки данных компенсируется ситуациями когда требуется произвести выборку большого числа последовательно сохранённых записей

В БГ что такого можно выбирать кроме логов?


Тестировать тоже ничего не надо.
Цитата:
Более того, разработчики MariaDB уже рассматривают возможность включения TokuDB в состав MariaDB и поставки данного движка в качестве штатного компонента.

А MariaDB прекрасно работает с БГ.

Автор:  dimOn [ 29 апр 2013, 14:28 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

skyb писал(а):
dimOn писал(а):
skyb писал(а):
dimOn писал(а):
тут нельзя ответить, нужно брать и пробовать

когда будите пробовать? =)

А у нас никто не спит, все работают :umnik:

димон, че принимаете? )))))))

я орфографические словари в основномъ :bow:

Автор:  [LTC]Dimonyga [ 07 фев 2017, 09:16 ]
Заголовок сообщения:  Re: Кому требуется высокая скорость записи

Апну некропост.

Поставил себе TokuDB, Репа марии для Centos 7 + jemalloc
Из особенностей: почему-то все временные таблички создает на диске. пришлось добавить
tmpdir = /dev/shm
Сжатие, используется LZMA:
Код:
Type: TokuDB
  Name: ft: uncompressed / compressed bytes written (leaf)
Status: 5.344320
*************************** 111. row ***************************
  Type: TokuDB
  Name: ft: uncompressed / compressed bytes written (nonleaf)
Status: 5.449396
*************************** 112. row ***************************
  Type: TokuDB
  Name: ft: uncompressed / compressed bytes written (overall)
Status: 5.368150

ПЯТИКРАТНОЕ!
query_cache выпилен, так как в последних версиях он используется только для myisam.
Настройки:
Код:
tokudb_directio = 1
tokudb_cache_size = 2G
tokudb_loader_memory_size = 256M
tokudb_pk_insert_mode = 2
tokudb_row_format = tokudb_lzma

Селекты быстрые:
Код:
# User@Host: bgserver[bgserver] @  [172.16.20.9]
# Thread_id: 71  Schema: bgbilling  QC_hit: No
# Query_time: 0.000204  Lock_time: 0.000029  Rows_sent: 1  Rows_examined: 3
SET timestamp=1486390174;
SELECT serv.*, serv.title as title, serv_type.title AS typeTitle, device.title AS deviceTitle, interface.title AS interfaceTitle FROM inet_serv_1 AS serv LEFT JOIN inet_serv_type_1 AS serv_type ON serv.typeId=serv_type.id LEFT JOIN inet_device_tree_1 AS device ON serv.deviceId=device.id LEFT JOIN inv_device_port_1 as interface ON interface.deviceId=device.invDeviceId AND interface.port=serv.interfaceId WHERE serv.contractId=458;

А вот удаления не очень
Код:
# User@Host: bgserver[bgserver] @  [172.16.20.9]
# Thread_id: 1  Schema: bgbilling  QC_hit: No
# Query_time: 0.023724  Lock_time: 0.000058  Rows_sent: 0  Rows_examined: 194
SET timestamp=1486390174;
DELETE FROM periodic_errors WHERE marker='5' AND calc_date='2017-02-01';

Иногда встречается вот такая ахинея, но редко (2 за 2-е суток работы), обычно меньше 0.01
Код:
# User@Host: bgserver[bgserver] @  [172.16.20.9]
# Thread_id: 3006  Schema: bgbilling  QC_hit: No
# Query_time: 4.013227  Lock_time: 0.001666  Rows_sent: 0  Rows_examined: 2
SET timestamp=1486393204;
INSERT INTO inet_session_log_1_201702 (id, connectionId, parentConnectionId, parentId, splittedId, deviceId, devicePort, agentDeviceId, acctSessionId, username, realm, type, servId, calledStationId, callingStationId, ipResourceId, ipAddress, connectionStart, sessionStart, sessionStop, lastActive, deviceState, deviceOptions, sessionTime, sessionCost, status) SELECT session.id, connection.id, connection.parentId, session.parentId, session.splittedId, connection.deviceId, connection.devicePort, connection.agentDeviceId, connection.acctSessionId, connection.username, null, connection.type, connection.servId, connection.calledStationId, connection.callingStationId, connection.ipResourceId, connection.ipAddress, connection.connectionStart, session.sessionStart, session.sessionStop, session.lastActive, session.deviceState, connection.deviceOptions, session.sessionTime, session.sessionCost, session.status FROM inet_session_1 as session LEFT JOIN inet_connection_1 as connection ON connection.id=session.connectionId AND connection.deviceId=1 WHERE session.id=6555846 AND session.connectionId=6146738;

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/