当前位置: 首页 > news >正文

mysql如何判断当前扫描的是第一条记录_MySQL锁机制——你想知道的都在这了

0e42d4af5fe2986f5eeee795bf6c033a.png

一、锁的类型

1. 行锁

(1)共享锁(S Lock)允许事务读一行数据

(2)排它锁 (X Lock) 允许事务读一行数据

2bda8640c3fcc265fe953c8ff980a727.png

2. 表锁(意向锁)

锁定允许事务在行级上的锁和表级上的锁同时存在。为了支持在不同粒度上进行加锁操作,InnoDB存储引擎支持一种额外的锁方式

(1)意向共享锁(IS Lock)事务想要获得一张表中某几行的共享锁

(2)意向排他锁(IX Lock)事务想要获得一张表中某几行的排他锁

由于InnoDB存储引擎支持的是行级别的锁,因此意向锁其实不会阻塞除全表扫以外的任何请求。故表级意向锁与行级锁的兼容性如下所示

7086de797668f2d3725bdcfbd1062a03.png

若将上锁的对象看成一棵树,那么对最下层的对象上锁,也就是对最细粒度的对象进行上锁,那么首先需要对粗粒度的对象上锁。例上图,如果需要对页上的记录r进行上X锁,那么分别需要对数据库A、表、页上意向锁IX,最后对记录r上X锁。若其中任何一个部分导致等待,那么该操作需要等待粗粒度锁的完成。举例来说,在对记录r加X锁之前,已经有事务对表1进行了S表锁,那么表1上已存在S锁,之后事务需要对记录r在表1上加上IX,由于不兼容,所以该事务需要等待表锁操作的完成。

3. 意向锁到底有什么作用?

innodb的意向锁主要用户多粒度的锁并存的情况。比如事务A要在一个表上加S锁,如果表中的一行已被事务B加了X锁,那么该锁的申请也应被阻塞。如果表中的数据很多,逐行检查锁标志的开销将很大,系统的性能将会受到影响。为了解决这个问题,可以在表级上引入新的锁类型来表示其所属行的加锁情况,这就引出了“意向锁”的概念。

举个例子,如果表中记录1亿,事务A把其中有几条记录上了行锁了,这时事务B需要给这个表加表级锁,如果没有意向锁的话,那就要去表中查找这一亿条记录是否上锁了。如果存在意向锁,那么假如事务A在更新一条记录之前,先加意向锁,再加X锁,事务B先检查该表上是否存在意向锁,存在的意向锁是否与自己准备加的锁冲突,如果有冲突,则等待直到事务A释放,而无须逐条记录去检测。事务B更新表时,其实无须知道到底哪一行被锁了,它只要知道反正有一行被锁了就行了。主要作用是处理行锁和表锁之间的矛盾,能够显示“某个事务正在某一行上持有了锁,或者准备去持有锁”

二、锁的算法

1. Record Lock:单个行记录上的锁

2. Gap Lock:间隙锁,锁定一个范围,但不包含记录本身

3. Next-Key Lock∶Gap Lock+Record Lock,锁定一个范围、索引之间的间隙,并且锁定记录本身;目的是为了防止幻读

三、mysql如何做到读写并行(多版本控制)?

多版本并发控制 MVCC,是行级锁的一个变种,通过保存数据在某个时间节点的快照(snapshot),类似实现了行级锁。由此不同事务对同一表,同一时刻看到的数据可能是不一样的。 实现上通过在不同的数据行后增加创建日期版本号和删除日期版本号,且版本号不断递增,进而实现了数据快照

1. 读的类型

(1)一致性非锁定读(快照读)

在事务隔离级别提交读(RC)和可重复读(RR)下,InnoDB存储引擎使用非锁定的一致性读

① RC模式下,读取最新的快照

② RR模式下,读取事务开始时的快照

(2)一致性锁定读 (当前读)

① 隔离级别为未提交读(RN)时读取都是当前读

② SELECT…FOR UPDATE (加写锁)

③ SELECT…LOCK IN SHARE MODE (加读锁)

四、加锁处理分析

下面两条简单的SQL,他们加什么锁?

select * from t1 where id = 10 delete from t1 where id = 10 如果要分析加锁情况,必须还要知道以下的一些前提,前提不同,加锁处理的方式也不同

(1)前提一:id列是不是主键?

(2)前提二:当前系统的隔离级别是什么?

(3)前提三:id列如果不是主键,那么id列上有索引吗?

(4)前提四:id列上如果有二级索引,那么这个索引是唯一索引吗?

(5)前提五:两个SQL的执行计划是什么?索引扫描?全表扫描?

根据上述情况,有以下几种组合:

① 组合一:id列是主键,RC隔离级别

② 组合二:id列是二级唯一索引,RC隔离级别

③ 组合三:id列是二级非唯一索引,RC隔离级别

④ 组合四:id列上没有索引,RC隔离级别

⑤ 组合五:id列是主键,RR隔离级别

⑥ 组合六:id列是二级唯一索引,RR隔离级别

⑦ 组合七:id列是二级非唯一索引,RR隔离级别

⑧ 组合八:id列上没有索引,RR隔离级别

⑨ 组合九:Serializable隔离级别

排列组合还没有列举完全,但是看起来,已经很多了。真的有必要这么复杂吗?事实上,要分析加锁,就是需要这么复杂。但是从另一个角度来说,只要你选定了一种组合,SQL需要加哪些锁,其实也就确定了。接下来挑几个比较经典的组合

1. 组合一:id主键+RC

这个组合,是最简单,最容易分析的组合。id是主键,Read Committed隔离级别,给定SQL:delete from t1 where id = 10; 只需要将主键上,id = 10的记录加上X锁即可。如下图所示:

1af52c930d3734be716329d07ab11c0f.png

结论:id是主键时,此SQL只需要在id=10这条记录上加X锁即可。

2. 组合二:id唯一索引+RC

这个组合,id不是主键,而是一个Unique的二级索引键值。那么在RC隔离级别下,delete from t1 where id = 10; 需要加什么锁呢?见下图:

ca4b001b92427aea84bb79939fbe3669.png

id是unique索引,而主键是name列。此时,加锁的情况由于组合一有所不同。由于id是unique索引,因此delete语句会选择走id列的索引进行where条件的过滤,在找到id=10的记录后,首先会将unique索引上的id=10索引记录加上X锁,同时,会根据读取到的name列,回主键索引(聚簇索引),然后将聚簇索引上的name = ‘d’ 对应的主键索引项加X锁。

结论:若id列是unique列,其上有unique索引。那么SQL需要加两个X锁,一个对应于id unique索引上的id = 10的记录,另一把锁对应于聚簇索引上的[name='d',id=10]的记录、

3. 组合三:id非唯一索引+RC

相对于组合一、二,组合三又发生了变化,隔离级别仍旧是RC不变,但是id列上的约束又降低了,id列不再唯一,只有一个普通的索引。假设delete from t1 where id = 10; 语句,仍旧选择id列上的索引进行过滤where条件,那么此时会持有哪些锁?同样见下图:

4ae8cf4946dfd0d21cb91866e3963ed1.png

根据此图,可以看到,首先,id列索引上,满足id = 10查询条件的记录,均已加锁。同时,这些记录对应的主键索引上的记录也都加上了锁。与组合二唯一的区别在于,组合二最多只有一个满足等值查询的记录,而组合三会将所有满足查询条件的记录都加锁。

结论:若id列上有非唯一索引,那么对应的所有满足SQL查询条件的记录,都会被加锁。同时,这些记录在主键索引上的记录,也会被加锁。

4. 组合四:id无索引+RC

相对于前面三个组合,这是一个比较特殊的情况。id列上没有索引,where id = 10;这个过滤条件,没法通过索引进行过滤,那么只能走全表扫描做过滤。对应于这个组合,SQL会加什么锁?或者是换句话说,全表扫描时,会加什么锁?这个答案也有很多:有人说会在表上加X锁;有人说会将聚簇索引上,选择出来的id = 10;的记录加上X锁。那么实际情况呢?请看下图:

32397e033c8fa8823e068a51196a37f2.png

由于id列上没有索引,因此只能走聚簇索引,进行全部扫描。从图中可以看到,满足删除条件的记录有两条,但是,聚簇索引上所有的记录,都被加上了X锁。无论记录是否满足条件,全部被加上X锁。既不是加表锁,也不是在满足条件的记录上加行锁。

有人可能会问?为什么不是只在满足条件的记录上加锁呢?这是由于MySQL的实现决定的。如果一个条件无法通过索引快速过滤,那么存储引擎层面就会将所有记录加锁后返回,然后由MySQL Server层进行过滤。因此也就把所有的记录,都锁上了。

结论:若id列上没有索引,SQL会走聚簇索引的全扫描进行过滤,由于过滤是由MySQL Server层面进行的。因此每条记录,无论是否满足条件,都会被加上X锁。但是,为了效率考量,MySQL做了优化,对于不满足条件的记录,会在判断后放锁,最终持有的,是满足条件的记录上的锁,但是不满足条件的记录上的加锁/放锁动作不会省略。同时,优化也违背了2PL的约束。

5. 组合五:id主键+RR

上面的四个组合,都是在Read Committed隔离级别下的加锁行为,接下来的四个组合,是在Repeatable Read隔离级别下的加锁行为。

组合五,id列是主键列,Repeatable Read隔离级别,针对delete from t1 where id = 10; 这条SQL,加锁与组合一:[id主键,Read Committed]一致。

6. 组合六:id唯一索引+RR

与组合五类似,组合六的加锁,与组合二:[id唯一索引,Read Committed]一致。两个X锁,id唯一索引满足条件的记录上一个,对应的聚簇索引上的记录一个。

7. 组合七:id非唯一索引+RR

还记得前面提到的MySQL的四种隔离级别的区别吗?RC隔离级别允许幻读,而RR隔离级别,不允许存在幻读。但是在组合五、组合六中,加锁行为又是与RC下的加锁行为完全一致。那么RR隔离级别下,

组合七,Repeatable Read隔离级别,id上有一个非唯一索引,执行delete from t1 where id = 10; 假设选择id列上的索引进行条件过滤,最后的加锁行为,是怎么样的呢?同样看下面这幅图:

e39b0349cbe8bc3bd9980fe6cd141f4e.png

结论:Repeatable Read隔离级别下,id列上有一个非唯一索引,对应SQL:delete from t1 where id = 10; 首先,通过id索引定位到第一条满足查询条件的记录,加记录上的X锁,加GAP上的GAP锁,然后加主键聚簇索引上的记录X锁,然后返回;然后读取下一条,重复进行。直至进行到第一条不满足条件的记录[11,f],此时,不需要加记录X锁,但是仍旧需要加GAP锁,最后返回结束。什么时候会取得gap lock或nextkey lock 这和隔离级别有关,只在REPEATABLE READ或以上的隔离级别下的特定操作才会取得gap lock或nextkey lock。

8. 组合八:id无索引+RR

组合八,Repeatable Read隔离级别下的最后一种情况,id列上没有索引。此时SQL:delete from t1 where id = 10; 没有其他的路径可以选择,只能进行全表扫描。最终的加锁情况,下图所示:

00244c22eaec2e6b65cbb32560112cf2.png

结论:在Repeatable Read隔离级别下,如果进行全表扫描的当前读,那么会锁上表中的所有记录,同时会锁上聚簇索引内的所有GAP,杜绝所有的并发 更新/删除/插入 操作。当然,也可以通过触发semi-consistent read,来缓解加锁开销与并发影响,但是semi-consistent read本身也会带来其他问题,不建议使用。

9. 组合九:Serializable

针对前面提到的简单的SQL,最后一个情况:Serializable隔离级别。对于SQL2:delete from t1 where id = 10; 来说,Serializable隔离级别与Repeatable Read隔离级别完全一致,因此不做介绍。

Serializable隔离级别,影响的是SQL1:select * from t1 where id = 10; 这条SQL,在RC,RR隔离级别下,都是快照读,不加锁。但是在Serializable隔离级别,SQL1会加读锁,也就是说快照读不复存在,MVCC并发控制降级为Lock-Based CC。

结论:在MySQL/InnoDB中,所谓的读不加锁,并不适用于所有的情况,而是隔离级别相关的。Serializable隔离级别,读不加锁就不再成立,所有的读操作,都是当前读。

五、死锁案例

1. 不同表相同记录行锁冲突

这种情况很好理解,事务A和事务B操作两张表,但出现循环等待锁情况。

7757d9913bfe4967aa8c75bf2a3aaf5c.png

2. 相同表记录行锁冲突

这种情况比较常见,之前遇到两个job在执行数据批量更新时,jobA处理的的id列表为[1,2,3,4],而job处理的id列表为[8,9,10,4,2],这样就造成了死锁。

1b49c881c6b3907b260228e3eb901dee.png

3. 不同索引锁冲突

这种情况比较隐晦,事务A在执行时,除了在二级索引加锁外,还会在聚簇索引上加锁,在聚簇索引上加锁的顺序是[1,4,2,3,5],而事务B执行时,只在聚簇索引上加锁,加锁顺序是[1,2,3,4,5],这样就造成了死锁的可能性。

41eebd2ea25213bc87ccf12937a0e033.png

4. gap锁冲突

innodb在RR级别下,如下的情况也会产生死锁,比较隐晦。不清楚的同学可以自行根据上节的gap锁原理分析下。

60a8005f12706db702f5dd239a8bfd1b.png

六、如何尽可能避免死锁

以固定的顺序访问表和行。比如对第2节两个job批量更新的情形,简单方法是对id列表先排序,后执行,这样就避免了交叉等待锁的情形;又比如对于3.1节的情形,将两个事务的sql顺序调整为一致,也能避免死锁。

大事务拆小。大事务更倾向于死锁,如果业务允许,将大事务拆小。

在同一个事务中,尽可能做到一次锁定所需要的所有资源,减少死锁概率。

降低隔离级别。如果业务允许,将隔离级别调低也是较好的选择,比如将隔离级别从RR调整为RC,可以避免掉很多因为gap锁造成的死锁。

为表添加合理的索引。可以看到如果不走索引将会为表的每一行记录添加上锁,死锁的概率大大增大。

七、如何查看锁?

从InnoDB1.0开始,在INFORMATION_SCHEMA架构下添加了表INNODB_TRX、INNODB_LOCKS、INNODB_LOCK_WAITS。(详情见附录)通过这三张表,用户可以更简单地监控当前事务并分析可能存在的锁问题。

663218752d58a092dad126112290da07.png

八、mysql是如何预防死锁的?

1. innodb_lock_wait_timeout 等待锁超时回滚事务

直观方法是在两个事务相互等待时,当一个等待时间超过设置的某一阀值时,对其中一个事务进行回滚,另一个事务就能继续执行。

2. wait-for graph算法来主动进行死锁检测

每当加锁请求无法立即满足需要并进入等待时,wait-for graph算法都会被触发。

wait-for graph要求数据库保存以下两种信息:

(1)锁的信息链表

(2)事务等待链表

通过上述链表可以构造出一张图,而在这个图中若存在回路,就代表存在死锁,因此资源间相互发生等待。在wait-for graph中,事务为图中的节点。而在图中,事务T1指向T2边的定义为:

事务T1等待事务T2所占用的资源

事务T1最终等待T2所占用的资源,也就是事务之间在等待相同的资源,而事务T1发生在事务T2的后面

62679597aa663651a442685ccd3d0006.png

示例事务状态和锁的信息

在Transaction Wait Lists中可以看到共有4个事务t1、t2、t3、t4,故在wait-for graph中应有4个节点。而事务t2对row1占用x锁,事务t1对row2占用s锁。事务t1需要等待事务t2中row1的资源,因此在wait-for graph中有条边从节点t1指向节点t2。事务t2需要等待事务t1、t4所占用的row2对象,故而存在节点t2到节点t1、t4的边。同样,存在节点t3到节点t1、t2、t4的边,因此最终的wait-for graph如下图所示。

3d995adef9a0eb046e94e0c8f2bcc539.png

ps:若存在则有死锁,通常来说InnoDB存储引擎选择回滚undo量最小的事务并从新开始

九、附录

1. INNODB_ROW_LOCK

9d32e2a3da597cf9fa3c57e10db4bcee.png

2. INNODB_TRX

提供有关当前正在内部执行的每个事务的信息 InnoDB,包括事务是否在等待锁定,事务何时启动以及事务正在执行的SQL语句(如果有)。

4cad3cfe854b3432157b174bb495edd5.png
25b7afc20d7916e4bdd338a2925946b3.png

3. INNODB_LOCKS

提供有关InnoDB 事务已请求但尚未获取的每个锁的信息,以及事务持有的阻止另一个事务的每个锁。

06a8688248dbb80fd0c8ed07c154672b.png

4. INNODB_LOCK_WAITS

包含每个被阻止InnoDB 事务的一个或多个行,指示它已请求的锁以及阻止该请求的任何锁。

ded39494c865a52536a2a83278406d99.png

相关文章:

  • CSDN英雄会游记
  • python批量将pdf转成word_python批量实现Word文件转换为PDF文件
  • lstm时间序列预测_pytorch入门使用PyTorch进行LSTM时间序列预测
  • CSDN软件英雄会流水帐
  • jvm内存结构_你真的懂JVM内存结构吗?—深入理解JVM之内存结构
  • 技术大会英雄谱
  • python自动化和java自动化_Python和Java哪个更适合做自动化测试
  • java 创建目录_编程排行榜第一Java语言学习的第一个Java程序,小白快到碗里来...
  • 微软(北京).NET俱乐部第十四次技术沙龙-Visual Studio 2005 Team System企业级开发实训...
  • Visual Basic.net还是C# ——如何选择.net语言
  • c语言解三元一次方程组_人教版初中数学七年级下册三元一次方程组的解法2公开课优质课课件教案视频...
  • 华章公司近期重点产品介绍
  • illegalstateexception是什么异常_Java面试题Iterator怎么使用?有什么特点?
  • 部门预算进行时
  • altium 去掉部分铺铜_【干货】一文读懂铜再生分类与工艺
  • Bootstrap JS插件Alert源码分析
  • ES6 ...操作符
  • exif信息对照
  • macOS 中 shell 创建文件夹及文件并 VS Code 打开
  • mysql中InnoDB引擎中页的概念
  • nodejs:开发并发布一个nodejs包
  • SpringBoot 实战 (三) | 配置文件详解
  • webpack4 一点通
  • 得到一个数组中任意X个元素的所有组合 即C(n,m)
  • 对象引论
  • 前嗅ForeSpider中数据浏览界面介绍
  • 如何合理的规划jvm性能调优
  • 深度学习在携程攻略社区的应用
  • 深入浅出webpack学习(1)--核心概念
  • 推荐一个React的管理后台框架
  • 微信小程序填坑清单
  • 白色的风信子
  • 数据库巡检项
  • 曜石科技宣布获得千万级天使轮投资,全方面布局电竞产业链 ...
  • ​LeetCode解法汇总307. 区域和检索 - 数组可修改
  • ​软考-高级-系统架构设计师教程(清华第2版)【第9章 软件可靠性基础知识(P320~344)-思维导图】​
  • (Matalb时序预测)PSO-BP粒子群算法优化BP神经网络的多维时序回归预测
  • (附源码)php新闻发布平台 毕业设计 141646
  • (附源码)springboot助农电商系统 毕业设计 081919
  • (每日持续更新)jdk api之StringBufferInputStream基础、应用、实战
  • (一)Dubbo快速入门、介绍、使用
  • (转)jQuery 基础
  • (转)VC++中ondraw在什么时候调用的
  • (转载)在C#用WM_COPYDATA消息来实现两个进程之间传递数据
  • (状压dp)uva 10817 Headmaster's Headache
  • .net core 依赖注入的基本用发
  • .NET 自定义中间件 判断是否存在 AllowAnonymousAttribute 特性 来判断是否需要身份验证
  • .NET8.0 AOT 经验分享 FreeSql/FreeRedis/FreeScheduler 均已通过测试
  • .NET企业级应用架构设计系列之开场白
  • .NET业务框架的构建
  • .vue文件怎么使用_vue调试工具vue-devtools的安装
  • @PreAuthorize注解
  • [ vulhub漏洞复现篇 ] Apache APISIX 默认密钥漏洞 CVE-2020-13945
  • [2021ICPC济南 L] Strange Series (Bell 数 多项式exp)
  • [④ADRV902x]: Digital Filter Configuration(发射端)