当前位置: 首页 > news >正文

InnoDB体系架构

MySQL支持插件式存储引擎,常用的存储引擎则是MyISAM和InnoDB,通常在OLTP(Online Transaction Processing 在线事务处理)中,我们选择使用InnoDB,所以弄清楚Innodb体系架构,有助于我们更深刻的理解innodb的工作原理,以及更好的使用innodb,以及优化。

从上图大致可以看到innodb有多个内存块,可以认为这些内存块组成了一个大的内存池,负责如下工作:

1.维护所有进程/线程需要访问的多个内部数据结构。

2.缓存磁盘上的数据,方便快速的读取,同时在对磁盘文件的数据修改之前在这里缓存。

3.重做日志(redo log)缓冲

 

一.后台线程的主要作用是负责刷新内存池中的数据,保证缓冲池中的内存缓存的是最新最近的数据。此外将已经修改的数据文件刷新到磁盘文件,同时保证在数据库发生异常的情况下innodb能恢复正常的运行状态。

后台线程:

Innodb存储引擎是多线程的模型,因此其后台有多个不同的后台线程,负责处理不同的任务。

1.Master Thread

Master Thread 是非常核心的后台线程,主要负责将缓冲池中的数据异步刷新到磁盘,保证数据的一致性,包括脏页的刷新,合并插入缓冲(insert buffer),undo页的回收等。

2.IO Thread

在innodb存储引擎中大量使用了AIO(Async IO)来处理写IO请求,这样可以极大提高数据库的性能。而IO Thread的工作主要负责这些IO请求的回调(call back)处理。在innodb 1.0版本之前共有4个IO Thread,分别是write,read,insert buffer和log IO thread。从innodb 1.0.x版本开始,read thread和write thread分别增大到了4个。可以使用innodb_read_io_threads和innodb_write_io_threads参数进行设置。

mysql> show variables like 'innodb_version';
+----------------+-------+
| Variable_name  | Value |
+----------------+-------+
| innodb_version | 1.1.8 |
+----------------+-------+
1 row in set (0.00 sec)

mysql> show variables like 'innodb_%io_threads';
+-------------------------+-------+
| Variable_name           | Value |
+-------------------------+-------+
| innodb_read_io_threads  | 4     |
| innodb_write_io_threads | 4     |
+-------------------------+-------+
2 rows in set (0.00 sec)

mysql> 

3. Purge Thread

事务被提交后,其使用的undo log可能不再需要,因此Purge Thread来回收已经使用并分配的undo页。在innodb 1.1 版本之前,purge操作仅在innodb存储引擎的Master Thread中完成。从innodb1.1版本开始,purge操作可以独立到单独的线程中进行。以此来减轻Master Thread的工作。从而提高CPU的使用率以及提升存储引擎的性能。可以通过在配置文件中添加如下参数来开启独立的Purge Thread(清洗线程):

[mysqld]
innodb_purge_threads=1

 在innodb1.1版本中,即使innodb_purge_threads设为大于1,innodb存储引擎启动时也会将其设为1,并在错误日志中出现如下提示:

140306 23:02:04 [Warning] option 'innodb-purge-threads': unsigned value 3 adjusted to 1

从innodb1.2版本开始,innodb支持多个Purge Thread,这样做的目的是为了进一步加快undo页的回收。同时由于Purge Thread需要离散的读取undo页,这样可以更好的利用磁盘的随机读取性能。设置4个Pureg Thread线程:

mysql> select version();
+-----------+
| version() |
+-----------+
| 5.6.10    |
+-----------+
1 row in set (0.00 sec)

mysql> show variables like 'innodb_version';
+----------------+--------+
| Variable_name  | Value  |
+----------------+--------+
| innodb_version | 1.2.10 |
+----------------+--------+
1 row in set (0.00 sec)

mysql> show variables like 'innodb_purge_threads';
+----------------------+-------+
| Variable_name        | Value |
+----------------------+-------+
| innodb_purge_threads | 4     |
+----------------------+-------+
1 row in set (0.00 sec)

mysql> 

4.Page cleaner Thread

page cleaner thread线程是在innodb 1.2.x的版本中引入的。其作用是将之前的版本中的脏页刷新操作都放入到单独的线程中来完成。而其目的是为了减轻原Master Thread的工作及对于用户查询线程的阻塞,进一步提高innodb存储引擎的性能。 

 

内存

1.缓冲池

缓冲池简单来说就是一块内存区域,通过内存的速度来弥补磁盘速度较慢对数据库性能的影响。在数据库中进行读取页的操作,首先将从磁盘读到的页存放在缓冲池中,这个过程称为将页"FIX"在缓冲池中。下一次再读取相同的页时,首先判断该页是否在缓冲池中。若在缓冲池中,称该页在缓冲池中被命中。直接读取该页。否则读取磁盘上的页。对于数据库中页的修改操作,则首先修改在缓冲池中的页,然后再以一定的频率刷新到磁盘上。这里需要注意的是,页从缓冲池刷新回磁盘的操作并不是每次页发生更新时触发,而是通过一种称为Checkpoint的机制刷新回磁盘。同样这也是为了提高数据库的整体性能。

对于innodb存储引擎而言,其缓冲池的配置通过参数innodb_buffer_ pool_size来设置。这是影响innodb性能的关键参数。具体来看,缓冲池中缓存的数据页类型有:索引页,数据页,undo页,插入缓冲(insert buffer),自适应哈希索引(adaptive hash index),innodb存储的锁信息(lock info),数据字典信息(data dictionary)等。不能简单的认为,缓冲池只是缓存索引页和数据页,它们只是占缓冲池很大的一部分而已。下图很好的显示了innodb存储引擎中的内存结构情况:

从innodb1.0.x版本开始,允许有多个缓冲池实例。每个页根据哈希值平均分配到不同缓冲池实例中。这样做的好处是减少数据库内部的资源竞争。增加数据库的并发处理能力。通过参数innodb_buffer_pool_instances来进行配置。该值默认为1。在配置文件中将innodb_buffer_pool_instances设置为大于1的值就可以得到多个缓冲池实例。

注意:innodb_buffer_pool_size必须大于1GB,生成innodb_buffer_pool多实例才有效,最多支持64个innodb_buffer_pool实例。

mysql> show engine innodb status\G
INDIVIDUAL BUFFER POOL INFO
----------------------
---BUFFER POOL 0
Buffer pool size   32768
Free buffers       32567
Database pages     201
Old database pages 0
Modified db pages  0
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages made young 0, not young 0
0.00 youngs/s, 0.00 non-youngs/s
Pages read 201, created 0, written 0
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
No buffer pool page gets since the last printout
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: 201, unzip_LRU len: 0
I/O sum[0]:cur[0], unzip sum[0]:cur[0]
---BUFFER POOL 1
Buffer pool size   32768
Free buffers       32670
Database pages     98
Old database pages 0
Modified db pages  0
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages made young 0, not young 0
0.00 youngs/s, 0.00 non-youngs/s
Pages read 98, created 0, written 0
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
No buffer pool page gets since the last printou

可以看见有两个缓冲池实例在运行。

 

未完,待续。。。。。。

详细内容请阅读姜老师的大作<<mysql技术内幕,innodb存储引擎第2版>>

 

 

 

 

 

 

 

 

 

 

 

 

 

 

相关文章:

  • 【2016-7-20】 Linux基础知识初识
  • bugzilla Incorrect key file for table './bugs/bugs_fulltext.MYI
  • 反射机制
  • 移动端基于HTML模板和JSON数据的JavaScript交互
  • 度分秒的正则表达式
  • JQuery 网页选项卡制作
  • UML类图几种关系的总结
  • groovy-file2
  • linux 软件包管理
  • 【转】排名Top 16的Java实用类库
  • 繁杂产生利润 但与你无关-【软件和信息服务】2014.03
  • JSP合用html5 尝试(一)
  • 文件夹的一个小勾(复选框)
  • 外网主机访问虚拟机下的web服务器(NAT端口转发)
  • 什么是Web Service?
  • 收藏网友的 源程序下载网
  • Angular 响应式表单 基础例子
  • crontab执行失败的多种原因
  • JAVA_NIO系列——Channel和Buffer详解
  • JS数组方法汇总
  • JS专题之继承
  • Object.assign方法不能实现深复制
  • vue-router 实现分析
  • Webpack 4 学习01(基础配置)
  • WePY 在小程序性能调优上做出的探究
  • 给第三方使用接口的 URL 签名实现
  • 汉诺塔算法
  • 互联网大裁员:Java程序员失工作,焉知不能进ali?
  • 开放才能进步!Angular和Wijmo一起走过的日子
  • 如何用Ubuntu和Xen来设置Kubernetes?
  • 微服务核心架构梳理
  • 微信小程序填坑清单
  • 数据可视化之下发图实践
  • ​卜东波研究员:高观点下的少儿计算思维
  • ​用户画像从0到100的构建思路
  • # 睡眠3秒_床上这样睡觉的人,睡眠质量多半不好
  • #1014 : Trie树
  • #LLM入门|Prompt#3.3_存储_Memory
  • #我与Java虚拟机的故事#连载18:JAVA成长之路
  • $.each()与$(selector).each()
  • (NO.00004)iOS实现打砖块游戏(九):游戏中小球与反弹棒的碰撞
  • (附源码)php新闻发布平台 毕业设计 141646
  • (十一)图像的罗伯特梯度锐化
  • (续)使用Django搭建一个完整的项目(Centos7+Nginx)
  • (转) Face-Resources
  • .NET “底层”异步编程模式——异步编程模型(Asynchronous Programming Model,APM)...
  • .NET学习全景图
  • @transactional 方法执行完再commit_当@Transactional遇到@CacheEvict,你的代码是不是有bug!...
  • [20171113]修改表结构删除列相关问题4.txt
  • [2544]最短路 (两种算法)(HDU)
  • [52PJ] Java面向对象笔记(转自52 1510988116)
  • [AHOI2009]中国象棋 DP,递推,组合数
  • [BZOJ2850]巧克力王国
  • [C#基础知识]专题十三:全面解析对象集合初始化器、匿名类型和隐式类型
  • [CentOs7]图形界面