MySQL
服务器上负责对表中数据的读取和写入工作的部分是存储引擎
,而服务器又支持不同类型的存储引擎,比如InnoDB
、MyISAM
、Memory
,不同的存储引擎一般是由不同的人为实现不同的特性而开发的,真实数据在不同存储引擎中存放的格式一般是不同的,甚至有的存储引擎比如Memory
都不用磁盘来存储数据,也就是说关闭服务器后表中的数据就消失了。
1. InnoDB页简介
InnoDB
是一个将表中的数据存储到磁盘上的存储引擎,所以即使关机后重启我们的数据还是存在的。而真正处理数据的过程是发生在内存中的,所以需要把磁盘中的数据加载到内存中,如果是处理写入或修改请求的话,还需要把内存中的内容刷新到磁盘上。而我们知道读写磁盘的速度非常慢,和内存读写差了几个数量级,所以当我们想从表中获取某些记录时,InnoDB
存储引擎需要一条一条的把记录从磁盘上读出来么?不,那样会慢死,InnoDB
采取的方式是:将数据划分为若干个页,以页作为磁盘和内存之间交互的基本单位,InnoDB中页的大小一般为16KB。也就是在一般情况下,一次最少从磁盘中读取16KB的内容到内存中,一次最少把内存中的16KB内容刷新到磁盘中。
2. InnoDB行格式
我们平时是以记录为单位来向表中插入数据的,这些记录在磁盘上的存放方式也被称为行格式
或者记录格式
。InnoDB
存储引擎有4种不同类型的行格式
,分别是Compact
、Redundant
、Dynamic
和Compressed
行格式。
2.1 指定行格式的语法
我们可以在创建或修改表的语句中指定行格式
:
CREATE TABLE 表名 (列的信息) ROW_FORMAT=行格式名称
ALTER TABLE 表名 ROW_FORMAT=行格式名称
2.2 COMPACT行格式
一条完整的记录其实可以被分为记录的额外信息
和记录的真实数据
两大部分。
2.2.1 记录的额外信息
这部分信息是服务器为了描述这条记录而不得不额外添加的一些信息,这些额外信息分为3类,分别是变长字段长度列表
、NULL值列表
和记录头信息
。
变长字段长度列表
我们知道MySQL
支持一些变长的数据类型,比如VARCHAR(M)
、VARBINARY(M)
、各种TEXT
类型,各种BLOB
类型,我们也可以把拥有这些数据类型的列称为变长字段
,变长字段中存储多少字节的数据是不固定的,所以我们在存储真实数据的时候需要顺便把这些数据占用的字节数也存起来,这样才不至于把MySQL
服务器搞懵,所以这些变长字段占用的存储空间分为两部分:
- 真正的数据内容
- 占用的字节数
在Compact
行格式中,把所有变长字段的真实数据占用的字节长度都存放在记录的开头部位,从而形成一个变长字段长度列表,各变长字段数据占用的字节数按照列的顺序逆序存放。
我们拿record_format_demo
表中的第一条记录来举个例子。因为record_format_demo
表的c1
、c2
、c4
列都是VARCHAR(10)
类型的,也就是变长的数据类型,所以这三个列的值的长度都需要保存在记录开头处,因为record_format_demo
表中的各个列都使用的是ascii
字符集,所以每个字符只需要1个字节来进行编码,来看一下第一条记录各变长字段内容的长度:
列名 | 存储内容 | 内容长度(十进制表示) | 内容长度(十六进制表示) |
---|---|---|---|
c1 |
'aaaa' |
4 |
0x04 |
c2 |
'bbb' |
3 |
0x03 |
c4 |
'd' |
1 |
0x01 |
又因为这些长度值需要按照列的逆序存放,所以最后变长字段长度列表
的字节串用十六进制表示的效果就是(各个字节之间实际上没有空格,用空格隔开只是方便理解):
01 03 04
把这个字节串组成的变长字段长度列表
填入上边的示意图中的效果就是:
由于第一行记录中c1
、c2
、c4
列中的字符串都比较短,也就是说内容占用的字节数比较小,用1个字节就可以表示,但是如果变长列的内容占用的字节数比较多,可能就需要用2个字节来表示。具体用1个还是2个字节来表示真实数据占用的字节数,InnoDB
有它的一套规则。
另外需要注意的一点是,变长字段长度列表中只存储值为 非NULL 的列内容占用的长度,值为 NULL 的列的长度是不储存的 。也就是说对于一条记录来说,如果c4列的值为
NULL,则变长字段长度列表只需要存储
c1和
c2列的长度即可。其中
c1列存储的值为
‘eeee’,占用的字节数为
4,
c2列存储的值为
‘fff’,占用的字节数为
3。数字
4可以用1个字节表示,
3也可以用1个字节表示,所以整个
变长字段长度列表共需2个字节。填充完
变长字段长度列表`的两条记录的对比图如下:
NULL值列表
我们知道表中的某些列可能存储NULL
值,如果把这些NULL
值都放到记录的真实数据
中存储会很占地方,所以Compact
行格式把这些值为NULL
的列统一管理起来,存储到NULL
值列表中,它的处理过程是这样的:
-
首先统计表中允许存储
NULL
的列有哪些。我们前边说过,主键列、被
NOT NULL
修饰的列都是不可以存储NULL
值的,所以在统计的时候不会把这些列算进去。比方说表record_format_demo
的3个列c1
、c3
、c4
都是允许存储NULL
值的,而c2
列是被NOT NULL
修饰,不允许存储NULL
值。 -
如果表中没有允许存储 NULL 的列,则 NULL值列表 也不存在了,否则将每个允许存储
NULL
的列对应一个二进制位,二进制位按照列的顺序逆序排列,二进制位表示的意义如下:- 二进制位的值为
1
时,代表该列的值为NULL
。 - 二进制位的值为
0
时,代表该列的值不为NULL
。
因为表
record_format_demo
有3个值允许为NULL
的列,所以这3个列和二进制位的对应关系就是这样:二进制位按照列的顺序逆序排列,所以第一个列
c1
和最后一个二进制位对应。 - 二进制位的值为
-
MySQL
规定NULL值列表
必须用整数个字节的位表示,如果使用的二进制位个数不是整数个字节,则在字节的高位补0
。表
record_format_demo
只有3个值允许为NULL
的列,对应3个二进制位,不足一个字节,所以在字节的高位补0
,效果就是这样:以此类推,如果一个表中有9个允许为
NULL
,那这个记录的NULL
值列表部分就需要2个字节来表示了。
记录头信息
除了变长字段长度列表
、NULL值列表
之外,还有一个用于描述记录的记录头信息
,它是由固定的5
个字节组成。5
个字节也就是40
个二进制位,不同的位代表不同的意思,如图:
记录的真实数据
对于record_format_demo
表来说,记录的真实数据
除了c1
、c2
、c3
、c4
这几个我们自己定义的列的数据以外,MySQL
会为每个记录默认的添加一些列(也称为隐藏列
),具体的列如下:
列名 | 是否必须 | 占用空间 | 描述 |
---|---|---|---|
row_id |
否 | 6 字节 |
行ID,唯一标识一条记录 |
transaction_id |
是 | 6 字节 |
事务ID |
roll_pointer |
是 | 7 字节 |
回滚指针 |
这里需要提一下InnoDB
表对主键的生成策略:优先使用用户自定义主键作为主键,如果用户没有定义主键,则选取一个Unique
键作为主键,如果表中连Unique
键都没有定义的话,则InnoDB
会为表默认添加一个名为row_id
的隐藏列作为主键。所以我们从上表中可以看出:InnoDB存储引擎会为每条记录都添加 transaction_id 和 roll_pointer 这两个列,但是 row_id 是可选的(在没有自定义主键以及Unique键的情况下才会添加该列)。这些隐藏列的值不用我们操心,InnoDB
存储引擎会自己帮我们生成的。
因为表record_format_demo
并没有定义主键,所以MySQL
服务器会为每条记录增加上述的3个列。现在看一下加上记录的真实数据
的两个记录长什么样吧:
CHAR(M)列的存储格式
对于 CHAR(M) 类型的列来说,当列采用的是定长字符集时,该列占用的字节数不会被加到变长字段长度列表,而如果采用变长字符集时,该列占用的字节数也会被加到变长字段长度列表。
2.3 Redundant行格式
一种古老的格式,这里就不介绍了。
2.4 Dynamic和Compressed行格式
下边要介绍另外两个行格式,Dynamic
和Compressed
行格式,MySQL
版本5.7
,它的默认行格式就是Dynamic
,这俩行格式和Compact
行格式挺像,只不过在处理行溢出
数据时有点儿分歧,它们不会在记录的真实数据处存储字段真实数据的前768
个字节,而是把所有的字节都存储到其他页面中,只在记录的真实数据处存储其他页面的地址,就像这样:
Compressed
行格式和Dynamic
不同的一点是,Compressed
行格式会采用压缩算法对页面进行压缩,以节省空间。
参考文章:
文档信息
- 版权声明:自由转载-非商用-非衍生-保持署名(创意共享3.0许可证)
- 本文链接:MySQL InnoDB记录结构(Record Structure)