MySQL性能调优之分区表(总结分享)

2023年 4月 16日 42.8k 0

本篇文章给大家带来了关于mysql的相关知识,其中主要介绍了关于性能调优的相关问题,主要介绍了分区表的相关内容,对于用户而言,分区表是一个独立的逻辑表,但是底层是由多个物

本篇文章给大家带来了关于mysql的相关知识,其中主要介绍了关于性能调优的相关问题,主要介绍了分区表的相关内容,对于用户而言,分区表是一个独立的逻辑表,但是底层是由多个物理子表组成,下面一起来看一下,希望对大家有帮助。

对于用户而言,分区表是一个独立的逻辑表,但是底层是由多个物理子表组成。分区表对于用户而言是一个完全封装底层实现的黑盒子,对用户而言是透明的,从文件系统中可以看到多个使用#分隔命名的表文件。 mysql在创建表时使用partition by子句定义每个分区存放的数据,在执行查询的时候,优化器会根据分区定义过滤那些没有我们需要数据的分区,这样查询就无须扫描所有分区。 分区的主要目的是将数据安好一个较粗的力度分在不同的表中,这样可以将相关的数据存放在一起。 接下来,我将从以下6个方面来谈谈分区表,分别是分区表的应用场景、分区表的限制、分区表的原理、分区表的类型、如何使用分区表、在使用分区表的时候需要注意的问题。

一、分区表的应用场景

1、表非常大以至于无法全部都放在内存中,或者只在表的最后部分有热点数据,其他均是历史数据。

2、分区表的数据更容易维护

(1)批量删除大量数据可以使用清除整个分区的方式

(2)对一个独立分区进行优化、检查、修复等操作

3、分区表的数据可以分布在不同的物理设备上,从而高效地利用多个硬件设备

4、可以使用分区表来避免某些特殊的瓶颈

(1)innodb的单个索引的互斥访问

(2)ext3文件系统的inode锁竞争

5、可以备份和恢复独立的分区

二、分区表的限制

1、一个表最多只能有1024个分区,在5.7版本的时候可以支持8196个分区

2、在早期的mysql中,分区表达式必须是整数或者是返回整数的表达式,在mysql5.5中,某些场景可以直接使用列来进行分区。

3、如果分区字段中有主键或者唯一索引的列,那么所有主键列和唯一索引列都必须包含进来。

4、分区表无法使用外键约束

三、分区表的原理

分区表由多个相关的底层表实现,这个底层表也是由句柄对象标识,我们可以直接访问各个分区。存储引擎管理分区的各个底层表和管理普通表一样(所有的底层表都必须使用相同的存储引擎),分区表的索引知识在各个底层表上各自加上一个完全相同的索引。从存储引擎的角度来看,底层表和普通表没有任何不同,存储引擎也无须知道这是一个普通表还是一个分区表的一部分。分区表的操作按照以下的操作逻辑进行:

1、select查询

当查询一个分区表的时候,分区层先打开并锁住所有的底层表,优化器先判断是否可以过滤部分分区,然后再调用对应的存储引擎接口访问各个分区的数据

2、insert操作

当写入一条记录的时候,分区层先打开并锁住所有的底层表,然后确定哪个分区接受这条记录,再将记录写入对应底层表。

3、delete操作

当删除一条记录时,分区层先打开并锁住所有的底层表,然后确定数据对应的分区,最后对相应底层表进行删除操作。

4、update操作

当更新一条记录时,分区层先打开并锁住所有的底层表,mysql先确定需要更新的记录再哪个分区,然后取出数据并更新,再判断更新后的数据应该再哪个分区,最后对底层表进行写入操作,并对源数据所在的底层表进行删除操作。

有些操作时支持过滤的,例如,当删除一条记录时,MySQL需要先找到这条记录,如果where条件恰好和分区表达式匹配,就可以将所有不包含这条记录的分区都过滤掉,这对update同样有效。如果是insert操作,则本身就是只命中一个分区,其他分区都会被过滤掉。mysql先确定这条记录属于哪个分区,再将记录写入对应得曾分区表,无须对任何其他分区进行操作。

虽然每个操作都会“先打开并锁住所有的底层表”,但这并不是说分区表在处理过程中是锁住全表的,如果存储引擎能够自己实现行级锁,例如innodb,则会在分区层释放对应表锁。

以上就是MySQL性能调优之分区表(总结分享)的详细内容,更多请关注每日运维其它相关文章!

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论