背景
日志型应用的一个典型操作,是周期性地有大量的insert操作。这类操作需要对扩展表空间。
分析
在InnoDB里,扩展表空间的操作是在语句执行过程中,由执行线程直接调用的。
尤其是对于一些表每行比较大,则会出现每插入几条记录就需要扩展表空间。
虽然有insert buffer和write ahead logging策略保证在执行线程中不直接操作表数据文件,但扩展表空间的操作会导致更新的tps出现瞬间低点。现象如下图。实际上整体TPS也受此影响。
改进方案及可行性
可以在这类大操作之前预分配表空间来优化这个问题。我们的业务上线之前都有容量预估,每天也有监控。因此接下来一段时间表空间增长到多少,是能够预估得到。
在实际更新开始之前,在低峰期甚至是提供服务之前就将表空间预分配好,能够避免这种抖动和提高TPS。
工具验证
InnoDB的表空间结构上,空间头部有4个byte的数字N表示这个表空间的大小(page数目),文件的实际大小是N*Page_SIZE.
实现了一个工具extend_space,修改4个byte并将文件append到指定的大小。测试发现insert性能提升10%。由这个原因引起的抖动消除。
后续
目前还只是用工具实现。工具使用起来比较麻烦,主要是更新过程中的锁表操作就需要外部脚本,而且以后应用的新版本中page_size可变,因此比较优美的方案是将这个功能加入到MySQL支持的命令中。
补充更新
新增MySQL命令支持预扩展
http://bugs.mysql.com/bug.php?id=63858
效果如图
- 大小: 17.8 KB
分享到:
相关推荐
最近在学习MySQL技术内幕 InnoDB存储引擎 第2版,整理了一些文档分享出来,同时也方便以后查看。若有不当之处,烦请批评指正。 1. MySQL体系结构和存储引擎 2. InnoDB存储引擎 2.1 InnoDB体系结构 2.2 ...
MySQL Innodb锁解决并发问题.pdf
MySQL Innodb 索引原理详解
6、如果和MyISAM比insert写操作的话,Innodb还达不到MyISAM的写性能,如果是针对基于索引的update操作,虽然MyISAM可能会逊色Innodb,但是那么高并发的写,从库能否追的上也是一个问题,还不如通过多实例分库分表...
InnoDB 给 MySQL 提供了具有事务(commit)、回滚(rollback)和崩溃修复能力(crash recovery capabilities)的事务安全(transaction-safe (ACID compliant))型表。InnoDB 提供了行锁(locking on row level),提供与 ...
接着以InnoDB的内部实现为切入点,逐一详细讲解了InnoDB存储引擎内部的各个功能模块,包括InnoDB存储引擎的体系结构、内存中的数据结构、基于InnoDB存储引擎的表和页的物理存储、索引与算法、文件、锁、事务、备份,...
同时使用一种 -- next-key locking 的锁策略来避免幻读现象的产生,还提供了插入缓冲(insert buffer) 二次写(double write) 自适应哈希索引,预读(read ahead)等高性能和高可用的功能。对于表中的数据innodb...
InnoDB官方文档中文翻译版 InnoDB官方文档中文翻译版 InnoDB官方文档中文翻译版
mysql 5.6 新特性 innodb
MySQL分析 innodb
MySql Innodb 引擎特性详解
MySQL 和 InnoDB 性能
InnoDB思维导图
InnoDB事务-锁-MVCC.pdf
MyISAM引擎与InnoDB引擎性能的对比
详细介绍了 Innodb 存储引擎在线备份工具 ibackup 的使用。
MySQL体系结构及原理(innodb)图文完美解析
innodb storage engine architecture innodb存储引擎架构
MyISAM和InnoDB的异同 MyISAM和InnoDB的异同