目录1.如何理解隔离性2读-写3个记录隐藏列字段undo 日志模拟 MVCCRead Viewread view实验2.RR 与 RC的本质区别RR 与 RC的本质区别1.如何理解隔离性2数据库并发的场景有三种读-读 不存在任何问题也不需要并发控制读-写 有线程安全问题可能会造成事务隔离性问题可能遇到脏读幻读不可重复读写-写 有线程安全问题可能会存在更新丢失问题比如第一类更新丢失第二类更新丢失(后面补充)读-写多版本并发控制 MVCC 是一种用来解决 读-写冲突 的无锁并发控制为事务分配单向增长的事务ID为每个修改保存一个版本版本与事务ID关联读操作只读该事务开始前的数据库的快照。 所以 MVCC 可以为数据库解决以下问题在并发读写数据库时可以做到在读操作时不用阻塞写操作写操作也不用阻塞读操作提高了数 据库并发读写的性能同时还可以解决脏读幻读不可重复读等事务隔离问题但不能解决更新丢失问题1.每个事务都要有自己的事务ID可以根据事务ID的大小来决定事务到来的先后顺序2.mysqld可能会面临多个事务的情况事务也有自己的生命周期mysqld要对多个事务进行管理。先描述再组织事务在我看来mysqld中一定是对应的一个或者一套结构体对象/类对象事务也要有自己的结构体。对事务的管理工作就变成了对事务的增删查改。理解 MVCC 需要知道三个前提知识3个记录隐藏字段undo 日志Read View3个记录隐藏列字段DB_TRX_ID 6 byte最近修改( 修改/插入 )事务ID记录创建这条记录/最后一次修改该记录的事务IDDB_ROLL_PTR : 7 byte回滚指针指向这条记录的上一个版本简单理解成指向历史版本就行这些数据一般在 undo log 中DB_ROW_ID : 6 byte隐含的自增ID隐藏主键如果数据表没有主键 InnoDB 会自动以 DB_ROW_ID 产生一个聚簇索引补充实际还有一个删除flag隐藏字段, 即记录被更新或删除并不代表真的删除而是删除flag变了[rootiZ5waahoxw3q2bZ ~]# mysql -uroot -p mysql use test_db; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed mysql show tables; --------------------- | Tables_in_test_db | --------------------- | account | | class | | duplicate_table | | exam_result | | for_delete | | myclass | | old_duplicate_table | | pick_course | | stu | | student | | students | | t1 | | t10 | | t11 | | t12 | | t13 | | t14 | | t15 | | t16 | | t2 | | t3 | | t4 | | t5 | | t6 | | t7 | | t8 | | t9 | | test | | test_key | | tt21 | | tt22 | | user | | votes | --------------------- 33 rows in set (0.00 sec) mysql drop table student; Query OK, 0 rows affected (0.01 sec)mysql create table if not exists student( - name varchar(11) not null, - age int not null - ); Query OK, 0 rows affected (0.01 sec) mysql desc student; ----------------------------------------------- | Field | Type | Null | Key | Default | Extra | ----------------------------------------------- | name | varchar(11) | NO | | NULL | | | age | int(11) | NO | | NULL | | ----------------------------------------------- 2 rows in set (0.01 sec) mysql insert into student (name, age) values (张三, 28); Query OK, 1 row affected (0.00 sec) mysql select * from student; ------------- | name | age | ------------- | 张三 | 28 | ------------- 1 row in set (0.00 sec)nameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)张三28null1null我们目前并不知道创建该记录的事务ID隐式主键我们就默认设置成null1。第一条记录也没有其他 版本我们设置回滚指针为null。undo 日志MySQL 将来是以服务进程的方式在内存中运行。我们之前 所讲的所有机制索引事务隔离性日志等都是在内存中完成的即在 MySQL 内部的相关缓冲区中保存相关数据完成各种判断操作。然后在合适的时候将相关数据刷新到磁盘当中的。所以我们这里理解undo log简单理解成就是MySQL 中的一段内存缓冲区用来保存日志数据的就行。模拟 MVCCnameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)张三2891null现在有一个事务10(仅仅为了好区分)对student表中记录进行修改(update)将name(张三)改成name(李四)。事务10,因为要修改所以要先给该记录加行锁。修改前现将改行记录拷贝到undo log中所以undo log中就有了一行副本数据。(原理就是写时拷贝)nameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)张三28910xaa假设0xaa指向原来的所以现在 MySQL 中有两行同样的记录。现在修改原始记录中的name改成 李四。并且修改原始记录的隐藏字段 DB_TRX_ID 为当前 事务10 的ID, 我们默认从 10 开始之后递增。而原始记录的回滚指针 DB_ROLL_PTR 列里面写入undo log中副本数据的地址从而指向副本记录既表示我的上一个版本就是它。nameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)李四281010xaaundo lognameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)张三2891null事务10提交释放锁。此时最新的记录是’李四‘那条记录。现在又有一个事务11对student表中记录进行修改(update)将age(28)改成age(38)。事务11,因为也要修改所以要先给该记录加行锁。该记录是那条修改前现将改行记录拷贝到undo log中所以undo log中就又有了一行副本数据。此时新的副本我们采用头插方式插入undo log。现在修改原始记录中的age改成 38。并且修改原始记录的隐藏字段 DB_TRX_ID 为当前 事务11 的ID。而原始记录的回滚指针 DB_ROLL_PTR 列里面写入undo log中副本数据的地址从而指向副本记录既表示我的上一个版本就是它。事务11提交释放锁。nameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)李四381110xbbundo lognameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)李四281010xaanameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)张三2891null这样我们就有了一个基于链表记录的历史版本链。所谓的回滚无非就是用历史数据覆盖当前数据。上面的一个一个版本我们可以称之为一个一个的快照。思考上面是以更新upadte主讲的,如果是delete呢一样的别忘了删数据不是清空而是设置flag 为删除即可。也可以形成版本。如果是insert呢因为insert是插入也就是之前没有数据那么insert也就没有历史版本。但是一般为了回滚操作insert的数据也是要被放入undo log中如果当前事务commit了那么这个undo log 的历史insert记录就可以被清空了。总结一下也就是我们可以理解成update和delete可以形成版本链insert暂时不考虑。那么select呢首先select不会对数据做任何修改所以为select维护多版本没有意义。不过此时有个问题就是select读取是读取最新的版本呢还是读取历史版本当前读读取最新的记录就是当前读。增删改都叫做当前读select也有可能当前读比如select lock in share mode(共享锁), select for update 这个好理解我们后面不讨论快照读读取历史版本(一般而言)就叫做快照读。(这个我们后面重点讨论)我们可以看到在多个事务同时删改查的时候都是当前读是要加锁的。那同时有select过来如果也要读取最新版(当前读)那么也就需要加锁这就是串行化。但如果是快照读读取历史版本的话是不受加锁限制的。也就是可以并行执行换言之提高了效率即MVCC的意义所在。那么是什么决定了select是当前读还是快照读呢隔离级别!那为什么要有隔离级别呢事务都是原子的。所以无论如何事务总有先有后。但是经过上面的操作我们发现事务从begin-CURD-commit是有一个阶段的。也就是事务有执行前执行中执行后的阶段。但不管怎么启动多个事务总是有先有后的。那么多个事务在执行中CURD操作是会交织在一起的。那么为了保证事务的“有先有后”是不是应该让不同的事务看到它该看到的内容这就是所谓的隔离性与隔离级别要解决的问题。先来的事务应不应该看到后来的事务所做的修改呢?那么如何保证不同的事务看到不同的内容呢也就是如何如何实现隔离级别Read ViewRead View就是事务进行 快照读 操作的时候生产的 读视图 (Read View)在该事务执行的快照读的那一 刻会生成数据库系统当前的一个快照记录并维护系统当前活跃事务的ID(当每个事务开启时都会被分配一个ID, 这个ID是递增的所以最新的事务ID值越大)Read View 在 MySQL 源码中,就是一个类本质是用来进行可见性判断的。 即当我们某个事务执行快照读的时候对该记录创建一个 Read View 读视图把它比作条件,用来判断当前事务能够看到哪个版本的数据即可能是当前最新的数据也有可能是该行记录的 undo log 里面的某个版本的数据。下面是 ReadView 结构,我们简化了一下class ReadView { // 省略... private: /** 高水位大于等于这个ID的事务均不可见*/ trx_id_t m_low_limit_id; /** 低水位小于这个ID的事务均可见 */ trx_id_t m_up_limit_id; /** 创建该 Read View 的事务ID*/ trx_id_t m_creator_trx_id; /** 创建视图时的活跃事务id列表*/ ids_t m_ids; /** 配合purge标识该视图不需要小于m_low_limit_no的UNDO LOG * 如果其他视图也不需要则可以删除小于m_low_limit_no的UNDO LOG*/ trx_id_t m_low_limit_no; /** 标记视图是否被关闭*/ bool m_closed; // 省略... };m_ids; //一张列表用来维护Read View生成时刻系统正活跃的事务IDup_limit_id; //记录m_ids列表中事务ID最小的ID(没有写错)low_limit_id; //ReadView生成时刻系统尚未分配的下一个事务ID也就是目前已出现过的事务ID的 最大值1(也没有写错)creator_trx_id //创建该ReadView的事务ID我们在实际读取数据版本链的时候是能读取到每一个版本对应的事务ID的即当前记录的 DB_TRX_ID 。那么我们现在手里面有的东西就有当前快照读的 ReadView 和 版本链中的某一个记录的 DB_TRX_ID 。所以现在的问题就是当前快照读应不应该读到当前版本记录。一张图解决所有问题read view 是一个对象值初始化之后不变了(一次)read view是事务可见性的一个类不是事务创建出来就会有read view。而且当这个事务(已经存在)首次进行快照读的时候mysql形成read viewread view实验假设当前有条记录nameageDB_TRX_ID (创建该记录的事务ID)DB_ROW_ID (隐式主键)DB_ROLL_PTR (回滚指针)张三28null1null事务操作事务1 [id1]事务2 [id2]事务3 [id3]事务4 [id4]事务开始事务开始事务开始事务开始.........修改且已提交进行中快照读进行中.........事务4修改name(张三) 变成name(李四)当 事务2 对某行数据执行了 快照读 数据库为该行数据生成一个 Read View 读视图//事务2的 Read Viewm_ids; // 1,3正在活跃的事务idup_limit_id; // 1记录m_ids列表中事务ID最小的IDlow_limit_id; // 4 1 5原因ReadView生成时刻系统尚未分配的下一个事务IDReadView生成时刻系统尚未分配的下一个事务ID也就是目前已出现过的事务ID的 最大值1creator_trx_id // 2创建该ReadView的事务ID只有事务4修改过该行记录并在事务2执行快照读前就提交了事务。我们的事务2在快照读该行记录的时候就会拿该行记录的 DB_TRX_ID 去跟up_limit_id,low_limit_id和活跃事务ID列表(trx_list) 进行比较判断当前事务2能看到该记录的版本。//事务2的 Read Viewm_ids; // 1,3up_limit_id; // 1low_limit_id; // 4 1 5原因ReadView生成时刻系统尚未分配的下一个事务IDcreator_trx_id // 2//事务4提交的记录对应的事务IDDB_TRX_ID4//比较步骤DB_TRX_ID4 up_limit_id1 ? 不小于下一步DB_TRX_ID4 low_limit_id(5) ? 不大于下一步m_ids.contains(DB_TRX_ID) ? 不包含说明事务4不在当前的活跃事务中。//结论故事务4的更改应该看到。所以事务2能读到的最新数据记录是事务4所提交的版本而事务4提交的版本也是全局角度上最新的版本2.RR 与 RC的本质区别当前读和快照读在RR级别下的区别终端12 --设置RR模式下测试 mysql set global transaction isolation level REPEATABLE READ; Query OK, 0 rows affected (0.00 sec) --退出重进 mysql quit; Bye [rootiZ5waahoxw3q2bZ ~]# mysql -uroot -p mysql select tx_isolation; ----------------- | tx_isolation | ----------------- | REPEATABLE-READ | ----------------- 1 row in set, 1 warning (0.00 sec) --依旧用之前的表 mysql use test_db; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed 终端1 mysql desc user; ----------------------------------------------- | Field | Type | Null | Key | Default | Extra | ----------------------------------------------- | id | int(11) | NO | PRI | NULL | | | age | int(11) | NO | | NULL | | | name | varchar(16) | NO | | NULL | | ----------------------------------------------- 3 rows in set (0.00 sec) mysql select * from user; -------------------- | id | age | name | -------------------- | 1 | 56 | 欧阳锋 | | 2 | 26 | 黄蓉 | | 3 | 18 | 杨过 | | 4 | 16 | 小龙女 | | 5 | 36 | 郭靖 | -------------------- 5 rows in set (0.00 sec) mysql delete from user; Query OK, 5 rows affected (0.00 sec) mysql select * from user; Empty set (0.00 sec) --插入一条记录用来测试 mysql insert into user (id, age, name) values (1, 15,黄蓉); Query OK, 1 row affected (0.00 sec) mysql select * from user; ----------------- | id | age | name | ----------------- | 1 | 15 | 黄蓉 | ----------------- 1 row in set (0.00 sec)用例1终端12 mysql begin; Query OK, 0 rows affected (0.00 sec) mysql select * from user; ----------------- | id | age | name | ----------------- | 1 | 15 | 黄蓉 | ----------------- 1 row in set (0.00 sec) 终端1 mysql update user set age18 where id1; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql commit; Query OK, 0 rows affected (0.00 sec) 终端2 mysql select * from user; ----------------- | id | age | name | ----------------- | 1 | 15 | 黄蓉 | ----------------- 1 row in set (0.00 sec) mysql select * from user lock in share mode; ----------------- | id | age | name | ----------------- | 1 | 18 | 黄蓉 | ----------------- 1 row in set (0.00 sec)表1事务A操作事务A描述事务B描述事务B操作begin开启事务开启事务beginselect * from user快照读(无影响)查询快照读查询select * from userupdate user set age18 where id1;更新age18--commit提交事务--select 快照读,没有读到age18select * from userselect lock in share mode当前读读到age18select * from user lock in share mode看到的15是基于REPEATABLE-READ可重复读MySQL默认隔离级别下的MVCC多版本并发控制机制。假设操作顺序是这样的事务1开启事务还没提交。事务2开启事务先执行第一次select * from user快照读。此时事务2会生成一个一致性视图。在这个视图里它看到的是旧数据age15。事务1执行update set age18并commit。事务2再次执行select * from user快照读。因为在REPEATABLE-READ级别下普通select是快照读它会继续使用之前生成的视图所以依然读到age15。事务2执行select ... lock in share mode当前读。当前读会去读取最新的已提交数据所以读到age18。用例2终端12 mysql begin; Query OK, 0 rows affected (0.00 sec) 终端1 mysql select * from user; ----------------- | id | age | name | ----------------- | 1 | 18 | 黄蓉 | ----------------- 1 row in set (0.00 sec) mysql update user set age28 where id1; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql commit; Query OK, 0 rows affected (0.00 sec) 终端2 mysql select * from user lock in share mode; ----------------- | id | age | name | ----------------- | 1 | 28 | 黄蓉 | ----------------- 1 row in set (0.00 sec) mysql select * from user; ----------------- | id | age | name | ----------------- | 1 | 28 | 黄蓉 | ----------------- 1 row in set (0.00 sec)表2事务A操作事务A描述事务B描述事务B操作begin开启事务开启事务beginselect * from user快照读查到 age18--update user set age28 where id1;更新 age28--commit提交事务--select 快照读 age28select * from userselect lock in share mode当前读 age28select * from user lock in share mode用例1与用例2唯一区别仅仅是 表1 的事务B在事务A修改age前 快照读过一次age数据而表2 的事务B在事务A修改age前没有进行过快照读。结论事务中快照读的结果是非常依赖该事务首次出现快照读的地方即某个事务中首次出现快照读决定该事务后续快照读结果的能力delete同样如此read view形成的时机的不同会影响事务的可见性RR 与 RC的本质区别正是Read View生成时机的不同从而造成RC,RR级别下快照读的结果的不同在RR级别下的某个事务的对某条记录的第一次快照读会创建一个快照及Read View, 将当前系统活 跃的其他事务记录起来此后在调用快照读的时候还是使用的是同一个Read View所以只要当前事务在其他事务提交更新之前使用过快照读那么之后的快照读使用的都是同一个Read View所以对之后的修改不可见即RR级别下快照读生成Read View时Read View会记录此时所有其他活动事务的快照这些事务的修改对于当前事务都是不可见的。而早于Read View创建的事务所做的修改均是可见而在RC级别下的事务中每次快照读都会新生成一个快照和Read View, 这就是我们在RC级别下的事务中可以看到别的事务提交的更新的原因总之在RC隔离级别下是每个快照读都会生成并获取最新的Read View而在RR隔离级别下则是同一个事务中的第一个快照读才会创建Read View, 之后的快照读获取的都是同一个Read View。正是RC每次快照读都会形成Read View所以RC才会有不可重复读问题。感谢你的观看期待我们下次再见