运维首页 > 数据运维 > 故障解析 | MySQL 主从复制遇到 1590 报错

故障解析 | MySQL 主从复制遇到 1590 报错

2023年 8月 18日 40.7k 0

作者：王祥

爱可生 DBA 团队成员，主要负责 MySQL 故障处理和性能优化。对技术执着，为客户负责。

本文来源：原创投稿

* 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。

1故障描述

DMP[1] 收到告警：从库的 SQL 线程停止工作，MySQL 版本为 5.7.32，登录到从库查看复制信息报错如下：

mysql> show slave statusG
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                    ……
                   Last_Errno: 1590
                   Last_Error: The incident LOST_EVENTS occured on the master. Message: REVOKE/GRANT failed while granting/revoking privileges in databases.
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 12531
              Relay_Log_Space: 69304
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 1590
               Last_SQL_Error: The incident LOST_EVENTS occured on the master. Message: REVOKE/GRANT failed while granting/revoking privileges in databases. 
               ……

从库错误日志信息如下：

[ERROR] Slave SQL for channel '': The incident LOST_EVENTS occured on the master. Message: REVOKE/GRANT failed while granting/revoking privileges in databases. Error_code: 1590

[ERROR] Error running query, slave SQL thread aborted. Fix the problem, and restart the slave SQL thread with "SLAVE START". We stopped at log 'mysql-bin.000003' position 12531.

解析对应 Binlog 信息如下：

# Incident: LOST_EVENTS
RELOAD DATABASE; # Shall generate syntax error

主库错误信息如下：

[ERROR] REVOKE/GRANT failed while granting/revoking privileges in databases. An incident event has been written to the binary log which will stop the slaves.

客户反馈执行了一些授权操作然后复制就出现报错，执行的语句如下：

mysql> create user test@'%',app@'%' identified by 'Root@123';
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
mysql> grant all on test.* to test@'%',app@'%';
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

2故障分析

根据以上报错信息可知：在做权限变更时发生了错误，主库在 binlog 里写一条 INCIDENT_EVENT，备库在解析到 INCIDENT_EVENT 就直接报错。

那在什么情况下执行授权语句会导致主库在 binlog 写 INCIDENT_EVENT 呢？

当权限变更操作只处理了一部分并发生错误时，主库会在 binlog 里写一条 INCIDENT_EVENT。

那什么情况下会发生权限变更只处理一部分而有一部分没处理完呢？

下面举例说明两种相关场景。

MySQL 5.7 的问题

在 MySQL 5.7 里使用 GRANT 语句新建用户，其中有部分权限有问题。

使用 GRANT 创建 test
用户（MySQL 8.0 版本已经不支持使用 GRANT 创建用户）：

mysql> grant select,insert,file on test.* to test@'%' identified by 'Q1w2e3E$';
ERROR 1221 (HY000): Incorrect usage of DB GRANT and GLOBAL PRIVILEGES
mysql> select user,host from mysql.user where user='test' and host='%';
+------+--------+
| user | host |
+------+--------+
| test | %    |
+------+--------+
1 row in set (0.00 sec)
  
mysql> show grants for test@'%';
+--------------------------------------------+
| Grants for test@%                 |
+--------------------------------------------+
| GRANT USAGE ON *.* TO 'test'@'%' |
+---------------------------------------------+
1 row in set (0.00 sec)

在创建用户时对 test
库授予 SELECT、INSERT、FILE 权限，因 FILE 权限不能授予某个数据库而导致语句执行失败。但最终结果是：test@'%'
创建成功，授权部分失败。从上面的测试可知，使用 GRANT 创建用户其实是分为两个步骤：创建用户和授权。权限有问题并不影响用户的创建，上述语句会导致主库在 binlog 写 INCIDENT_EVENT，从而导致主从复制报错。

GRANT 对两个用户同时授权

使用一条 GRANT 语句，同时给 test@'10.186.63.5'
与 test@'10.186.63.29'
用户授权，其中 test@'10.186.63.5'
用户存在，而 test@'10.186.63.29'
不存在。

mysql> create user test@'10.186.63.5' identified by '123';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all on test.* to test@'10.186.63.5',test@'10.186.63.29';
ERROR 1133 (42000): Can't find any matching row in the user table
mysql> show grants for test@'10.186.63.5';
+----------------------------------------------------------+
| Grants for test@10.186.63.5                              |
+----------------------------------------------------------+
| GRANT USAGE ON *.* TO 'test'@'10.186.63.5'               |
| GRANT ALL PRIVILEGES ON `test`.* TO 'test'@'10.186.63.5' |
+----------------------------------------------------------+
2 rows in set (0.00 sec)

根据上面的实验可知：test@'10.186.63.5'
用户存在故授权成功，而 test@'10.186.63.29'
用户不存在授权失败。上述语句也会导致主库在 binlog 写 INCIDENT_EVENT，从而导致主从复制报错。

但以上两种情况似乎都不符合客户执行语句情况，从报错来看是因为密码复杂度不够而导致创建用户失败了，那到底是什么原因导致从库出现 1590 错误呢？下面我们来看看在使用了密码复杂度插件后使用create语句同时创建两个用户会有什么问题。

mysql> show global variables like '%validate%';
+--------------------------------------+--------+
| Variable_name                        | Value  |
+--------------------------------------+--------+
| query_cache_wlock_invalidate         | OFF    |
| validate_password_check_user_name    | OFF    |
| validate_password_dictionary_file    |        |
| validate_password_length             | 8      |
| validate_password_mixed_case_count   | 1      |
| validate_password_number_count       | 1      |
| validate_password_policy             | MEDIUM |
| validate_password_special_char_count | 1      |
+--------------------------------------+--------+

mysql> select user,host from mysql.user;
+---------------+-----------+
| user          | host      |
+---------------+-----------+
| universe_op   | %         |
| root          | 127.0.0.1 |
| mysql.session | localhost |
| mysql.sys     | localhost |
| root          | localhost |
+---------------+-----------+
5 rows in set (0.00 sec)

mysql> create user test@'%',app@'%' identified by 'Root@123';
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

mysql> select user,host from mysql.user;（app@'%'创建成功，test@'%'创建失败）
+---------------+-----------+
| user          | host      |
+---------------+-----------+
| app           | %         |
| universe_op   | %         |
| root          | 127.0.0.1 |
| mysql.session | localhost |
| mysql.sys     | localhost |
| root          | localhost |
+---------------+-----------+
6 rows in set (0.00 sec)

上述测试使用 CREATE USER 同时创建 test@'%'
、app@'%'
。但因为密码复杂度不合符要求而失败报错（多次测试发现并不是密码复杂度不够，只要同时创建两个用户都会报密码复杂度不符合要求。在未使用密码复杂度插件时是可以同时创建两个用户），正常的话这两个用户应该都会创建失败。但实际上 app@'%'
用户创建成功了。

到这里我们就明白文章开始描述故障的触发原因：数据实例开启了密码复杂度插件，使用 CREATE USER 同时创建两个用户，因为密码复杂度不符合要求而报错，但 app@'%'
是已经创建了， test@'%'
用户未创建，紧接着又执行了 GRANT 语句给两个用户同时授权，此时因为 test@'%'
用户不存在，而导致 GRANT 语句部分执行的问题，最终导致了主从复制报错。

3总结

  1. 权限变更操作只处理了一部分并发生错误时，会导致 binlog 写一条 INCIDENT_EVENT，从而导致主从复制报错。
  2. 在使用密码复杂度插件时，使用 CREATE 语句同时创建两个用户，会出现一个用户创建成功另外一个用户创建失败的情况。

4建议

  1. 使用了密码复杂度插件，创建用户时一条 CREATE 语句只创建一个用户。
  2. 授权时一条 GRANT 语句只对一个用户授权，防止因权限错误导致部分授权成功的问题。

参考资料

[1]

云树 DMP: https://www.actionsky.com/cloudTreeDMP

本文关键字：#MySQL# #权限# #binlog#

阅读推荐

技术译文 | 一文了解 MySQL 全新版本模型

技术译文 | 那些 MySQL 8.0 中的隐藏特性

技术译文 | XtarBackup 8.0.33-28 Prepare 速度提升 20 倍！

故障分析 | MySQL：我的从库竟是我自己！？

故障分析 | 一个 Kill 不掉的 MySQL 会话

故障分析 | MySQL 升级到 8.0 变慢问题分析

技术分享 | 一招解决 MySQL 中 DDL 被阻塞的问题

DTCC 第十四届中国数据库技术大会 

2023年8月16日~18日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会（DTCC2023）将在北京国际会议中心隆重召开。

大会以“数智赋能 共筑未来”为主题，紧跟时代步伐，引领前沿技术，设置2大主会场，20+技术专场，将邀请超百位行业专家，重点围绕数据库内核解析，向量数据库、图数据技术、云原生数据库、实时数仓等内容展开分享和探讨，为广大数据领域从业人士提供一场年度的饕餮盛宴。

来自爱可生的向量数据库研发经理-苏鹏，将在 时序数据库与向量数据库 专场带来题为《TensorDB 在 DB 领域的应用，构建数据库交互新范式》的演讲。

欢迎大家莅临爱可生展台，就 TensorDB 及其他数据库技术与爱可生研发团队进行交流，参与展台活动。

ACDU 中国行 杭州站

8月19日，由中国数据库联盟、墨天轮社区联合举办的【ACDU中国行】第二站将在杭州举办，内容涵盖 OceanBase、PG、AntDB、MySQL 和 Oracle 等数据库内核特性、运维实践与发展机遇等，现场将送出签到即领的精美伴手礼和多轮抽奖，欢迎大家报名参与！扫描图中二维码或点击链接均可报名：https://www.modb.pro/event/842

关于 SQLE

SQLE 是一款面向数据库使用者和管理者，支持多场景审核，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。目前支持各种数据库规则 700+。

SQLE 获取

🔗 Github https://github.com/actiontech/sqle

📚 文档 https://actiontech.github.io/sqle-docs/

💻 官网 https://opensource.actionsky.com/sqle/

👥 微信技术交流群：添加管理员微信 ActionOpenSource

张二河
数据运维
0 0

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF，云和恩墨技术通讯（2024年7月刊）
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论

张二河

这个人很懒，什么都没有留下～

文章8551 评论0