Spirit:继承 ghost 灵魂的 MySQL 在线大表变更方案

2023年 10月 26日 32.5k 0

昨天看到社区发布了一个新的 MySQL 大表变更工具 Spirit。是海外支付巨头 Block 旗下的 Cash App (地位类似于支付宝) 开源的,作者之前也在 PingCAP 工作过。

目前市面上做大表变更的方案有两个:

  1. Percona 开源的 pt-online-schema-change,基于 trigger。
  2. GitHub 开源的 gh-ost,基于 binary log。

业界更多采用 gh-ost 方案。Bytebase 也集成了基于 gh-ost 的大表变更方案。

Spirit 也是继承了 gh-ost 的灵魂,整体框架沿用 gh-ost。Spirit 这个名字(中文:精神)也是致敬的 Ghost。

Spirit 对于 gh-ost 的改进点:

  1. 多线程复制
  2. 断点恢复
  3. 自适应复制数据的速度
  4. 通过设置水位标和保存 Change Row Map 避免复制不必要的数据

这其中最有价值的改进点是 2 - 断点恢复。之前 gh-ost 的问题是一旦断开,就要重头再来,变更一张大表,有时要几天,好不容易等到快结束时, gh-ost 挂了,一切从头来过,那大家都奔溃。

而大表变更跑的越久,挂掉的可能性就越高。尤其现在大家都跑在 K8s 上,pod 挂掉本身就是预期的。要知道数据库变更没做完,新的应用版本就没法上线,新的应用版本没法上线,新的运营活动就不能展开。这种延期对于像 Cash app 这样的业务是不可接受的。

Spirit 和 gh-ost 还有两个需要注意的区别:

  1. Spirit 不像 gh-ost 那样提供激进的限流
  2. Spirit 只支持 MySQL 8.0

我想这最后一条估计会劝退不少国内的用户,虽然 MySQL 5.7 已经官宣了 EOL,但国内 MySQL 5.6 也不在少数。

代码刚开源在 https://github.com/cashapp/spirit,采用 Apache 证书,知道的人还不多。如果能持续维护下去,有希望替代 gh-ost 成为 MySQL 大表变更的首选方案。

一家全球化创业公司背后的 40+ SaaS 服务和成本:2023 版
为何在中国 Navicat 远比 DBeaver 流行
SRE 的黄昏,平台工程的初晨
一份谷歌写给 CTO 们的报告 - DORA 2023 版全面解读

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论