[ibd2sql] MYSQL ibd文件解析 (6) BLOB/TEXT 页如何存储在磁盘上的 FIL_PAGE_TYPE_LOB_FIRST

造数据

create table ibd2sql.t20240513_extrapage(id int, aa longblob);
insert into ibd2sql.t20240513_extrapage values(1,repeat('x', 1024*1024));


导读

虽然ibd2sql已经支持了 大字段(BLOB), 但还不支持溢出页(extra page), 也就是对大字段支持不完全. 是时候表演正在的技术了 是时候来完善大字段溢出页了.

我们知道, 如果 BLOB 字段太大, 是存储在 FIL_PAGE_TYPE_LOB_DATA 里面的. FIL_PAGE_INDEX 只存储20字节基础信息. 可以使用 ibd2sql --debug 来查看这20字节是的具体内容

python main.py /data/mysql_3314/mysqldata/ibd2sql/t20240513_extrapage.ibd --sql --debug


结构如下

对象	大小(字节)	描述
SPACE_ID	4	表空间ID
PAGENO	4	表空间里的页号
BLOB_HEADER	4	BLOB_HEADER的大小, 固定 为 1
REAL_SIZE	8	这行数据中这个字段的大小

>>> data = b'\x00\x00\x1e\xab\x00\x00\x00\x05\x00\x00\x00\x01\x00\x00\x00\x00\x00\x10\x00\x00'
>>> import struct
>>> struct.unpack('>3LQ',data)
(7851, 5, 1, 1048576)
>>>

REAL_SIZE: The 2 highest bits are reserved to the flags below

于是我们可以得到, 我们这行数据有 1048576 B(1MB) 大小, 放在 7581表空间的 第5页(从0开始的异世界).
我们去数据库里面验证下.

也是对得上的.

大字段页

导读就导了半天, 现在开始来看BLOB页吧. 先不看ZLIB_BLOB的.
有3种PAGE (参考:https://dev.mysql.com/blog-archive/mysql-8-0-innodb-introduces-lob-index-for-faster-updates/), 我们一个个看.

FIL_PAGE_TYPE_LOB_FIRST

看名字就知道这是第一页, 也就是INDEX_PAGE里面那20字节种的PAGENO. 主要存储一些基础信息(BLOB_INDEX), 剩下的空间用来存BLOB数据. 结构如下: (不看FILE_TRAILER了) 参考: storage/innobase/include/lob0first.h

FLST_BASE_NODE_SIZE 这种结构, 之前讲过, 就是 4+6+6 也就是 记录
LEN, PRE_PAGENO,PRE_OFFSET NEXT_PAGENO, NEXT_OFFSET. 如果是0/4294967295就表示没得上/下节点了. 还是整个表吧…

再来看看这个 LOB_PAGE_DATA, 就是ENTRY, 每个60字节, 第一页10个constexpr static ulint node_count() {return (10);} 参考: storage/innobase/include/lob0index.h :: index_entry_t
这里面就是记录 实际的值了, 全部加起来就是这行数据这个字段的 值了. 直接上表:
ENTRY:

OFFSET_PAGE_NO 就是指的LOB DATA的页号, OFFSET_DATA_LEN 就是lOB DATA页里面存储的数据大小(虽然是4字节, 实际只使用2字节).

FIL_PAGE_TYPE_LOB_INDEX

记录索引信息, 就是ENTRY, 比较简单.结构如下:
参考: storage/innobase/include/lob0index.h

FIL_PAGE_TYPE_LOB_DATA

存放LOB数据的, 结构更简单, 就是 FIL_PAGE_DATA + OFFSET_VERSION =39 剩下的全是数据. 大小在entry里面记录的. 只管嗷嗷读就行.

测试

对应我们解析ibd文件来说, 使用到的信息不多, 所以我就只读entry了, 反正是链表.

import struct
firstpagno = 5
filename = "/data/mysql_3314/mysqldata/ibd2sql/t20240513_extrapage.ibd"
f = open(filename,'rb') # 二进制只读
f.seek(firstpagno*16384,0) # 移动到指定的PAGENO
data = f.read(16384)
entry = data[96:96+60]
def read_page(pageno):
f.seek(pageno*16384)
return f.read(16384)

rdata = b''
while True:
pageno,datalen,lobversion = struct.unpack('>3L',entry[-12:])
datalen = datalen>>16
if pageno == firstpagno:
rdata += data[696:696+datalen]
else:
rdata += read_page(pageno)[39:39+datalen]
next_entry = struct.unpack('>LH',entry[6:12])
if next_entry[0] >0 and next_entry[0] < 4294967295:
entry = read_page(next_entry[0])[next_entry[1]:next_entry[1]+60]
else:
break

print(len(rdata)) # 这里就不打印数据了, 太大了, 不好看.


数据也不太方便校验一致性, 可以自己简单print一下看看.

题外话

今天遇到某数据库 使用 ALTER TABLE ADD COLUMN XX VARCHAR(200) NULL 时, 数据库服务器负载飙到500+, 数据库一直卡着, 就离谱… 不加NULL时, 就是正常的.

ibd2sql 等下个版本(v1.4)再更新这个溢出页的功能.