MySQL性能优化条件过滤(Condition Filtering)

2023年 8月 15日 49.7k 0

MySQL在处理join查询时,遍历驱动表的记录,把驱动表的记录传递给被驱动表,然后根据join连接条件进行匹配。优化器通常会将更小的表作为驱动表,通过在驱动表上做额外的where条件过滤(Condition Filtering),能够将驱动表限制在一个更小的范围,以便优化器能够做出更优的执行计划。

1. 什么是条件过滤(Condition Filtering)

如果没有使用条件过滤,join查询的驱动表预估扫描的记录数与索引条件相关,比如一个二级索引 idx_name(name),name='abc' 的记录数有100个,那么执行计划中的预估扫描记录数就是100左右。如果此时where条件中关于驱动表有另外一个条件限制,比如age=20,满足name='abc'且age=20的记录数为10,通过条件过滤后,实际参与到join运算的驱动表记录数只有10条左右。

条件过滤有一些限制:

  • 条件只能是常量
  • 条件过滤中的where条件不在索引条件中

2. 条件过滤在explain中的表现

在explain的输出中,rows字段表示所选择的索引访问方式预估的扫描记录数,filtered字段反映了条件过滤,filtered值是一个百分比,最大值是100,表示没有进行任何过滤,该值越小,说明过滤效果越好。

如果一个SQL的执行计划,rows为100,filtered为10%,那么最终预估的扫描记录数为 100*10%=10。

3. 条件过滤案例

有两张表做join查询,employee 为雇员表,department为部门表,查询SQL如下:

SELECT *
FROM employee JOIN department ON employee.dept_no = department.dept_no
WHERE employee.first_name = 'John'
AND employee.hire_date BETWEEN '2018-01-01' AND '2018-06-01';

  • employee表记录总数:1024
  • department表记录总数:12
  • 两张表在dept_no字段上都有索引。
  • employee表在first_name上有索引。
  • 满足 employee.first_name = 'John' 的记录数:8
  • 满足 employee.hire_date BETWEEN '2018-01-01' AND '2018-06-01' 的记录数:150
  • 满足 employee.first_name = 'John' AND employee.hire_date BETWEEN '2018-01-01' AND '2018-06-01' 记录数:1

(1)如果没有使用条件过滤,explain执行计划如下:

+----+------------+--------+------------------+---------+---------+------+----------+
| id | table | type | possible_keys | key | ref | rows | filtered |
+----+------------+--------+------------------+---------+---------+------+----------+
| 1 | employee | ref | name,h_date,dept | name | const | 8 | 100.00 |
| 1 | department | eq_ref | PRIMARY | PRIMARY | dept_no | 1 | 100.00 |
+----+------------+--------+------------------+---------+---------+------+----------+

(2)使用了条件过滤,explain执行计划如下:

+----+------------+--------+------------------+---------+---------+------+----------+
| id | table | type | possible_keys | key | ref | rows | filtered |
+----+------------+--------+------------------+---------+---------+------+----------+
| 1 | employee | ref | name,h_date,dept | name | const | 8 | 16.31 |
| 1 | department | eq_ref | PRIMARY | PRIMARY | dept_no | 1 | 100.00 |
+----+------------+--------+------------------+---------+---------+------+----------+

很明显,表employee上的filtered 由 100 变为了 16.31,8 × 16.31% = 1.3,过滤效果非常好。

4. 条件过滤开关

MySQL提供了参数来控制是否打开条件过滤,默认是打开的。

SET optimizer_switch = 'condition_fanout_filter=on';

打开条件过滤有时并不总是能提高性能,优化器可能会高估条件过滤的影响,个别场景下使用条件过滤反而会导致性能下降。在排查类似性能问题时,可参考以下思路:

  1. join连接的字段是否有索引,如果没有索引,则应当先加上索引,以便优化器能够掌握字段值的分布情况,更准确的预估行数。
  2. 表的join顺序是否合适,通过改变表的join顺序,让更小的表作为驱动表。可以考虑使用STRAIGHT_JOIN,强制优化器使用指定的表join顺序。
  3. 如果不使用条件过滤,性能会更好,那么可以关闭会话级条件过滤功能。
    SET optimizer_switch = 'condition_fanout_filter=off';

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论