如何保持mysql和redis中数据的一致性?

2023年 8月 13日 69.5k 0

在介绍“如何保持mysql和redis中数据的⼀致性”这个问题之前,我们需要先弄清什么是“⼀致性”,以及不同缓存 策略下出现的”不⼀致“问题,才能提出⽅法解决这种”不⼀致“,进⽽达到”数据的⼀致性“。

⾸先,“数据⼀致”⼀般指的是:缓存中有数据,缓存的数据值 = 数据库中的值。

但根据缓存中是有数据为依据,则”⼀致“可以包含两种情况:

  • 缓存中有数据,缓存的数据值 = 数据库中的值
  • 缓存中本没有数据,数据库中的值 = 新值(有请求查询数据库时,会将数据写⼊缓存,则变为上⾯的“⼀ 致”状态)

”数据不⼀致“:缓存的数据值 ≠ 数据库中的值;缓存或者数据库中存在旧值,导致其他线程读到旧数据

根据是否接收写请求,可以把缓存分成读写缓存和只读缓存。

只读缓存:只在缓存进⾏数据查找,即使⽤ “更新数据库+删除缓存” 策略;

读写缓存:需要在缓存中对数据进⾏增删改查,即使⽤ “更新数据库+更新缓存”策略。

只读缓存:新增数据时,直接写⼊数据库;更新(修改/删除)数据时,先删除缓存。

后续,访问这些增删改的数据时,会发⽣缓存缺失,进⽽查询数据库,更新缓存。

  • 新增数据时 ,写⼊数据库;访问数据时,缓存缺失,查数据库,更新缓存(始终是处于”数据⼀致“的状态, 不会发⽣数据不⼀致性问题)
  • 更新(修改/删除)数据时 ,会有个时序问题:更新数据库与删除缓存的顺序(这个过程会发⽣数据不⼀致性问题)

在更新数据的过程中,可能会有如下问题:

  • ⽆并发请求下,其中⼀个操作失败的情况
  • 并发请求下,其他线程可能会读到旧值

因此,要想达到数据⼀致性,需要保证两点:

  • ⽆并发请求下,保证A和B步骤都能成功执⾏
  • 并发请求下,在A和B步骤的间隔中,避免或消除其他线程的影响

接下来,我们针对有/⽆并发场景,进⾏分析并使⽤不同的策略。

A. 无并发情况

⽆并发请求下,在更新数据库和删除缓存值的过程中,因为操作被拆分成两步,那么就很有可能存在“步骤1成功, 步骤2失败”的情况发⽣(由于单线程中步骤1和步骤2是串⾏执⾏的,不太可能会发⽣“步骤2成功,步骤1失败”的情况)。

(1) 先删除缓存,再更新数据库

(2) 先更新数据库,再删除缓存

解决策略:

a.消息队列+异步重试

⽆论使⽤哪⼀种执⾏时序,可以在执⾏步骤1时,将步骤2的请求写⼊消息队列,当步骤2失败时,就可以使⽤重试策略,对失败操作进⾏“补偿”。

具体步骤如下:

  • 把要删除缓存值或者是要更新数据库值操作生成消息,暂存到消息队列中(例如使⽤ Kafka 消息队列);
  • 当删除缓存值或者是更新数据库值操作成功时,把这些消息从消息队列中去除(丢弃),以免重复操作;
  • 当删除缓存值或者是更新数据库值操作失败时,执⾏失败策略,重试服务从消息队列中重新读取(消费)这些消息,然后再次进⾏删除或更新;
  • 删除或者更新失败时,需要再次进⾏重试,重试超过的⼀定次数,向业务层发送报错信息。
  • b.订阅Binlog变更日志

    • 创建更新缓存服务,接收数据变更的MQ消息,然后消费消息,更新/删除Redis中的缓存数据;
    • 使⽤ Binlog 实时更新/删除Redis 缓存。利⽤Canal,即将负责更新缓存的服务伪装成⼀个MySQL 的从节点,从 MySQL 接收 Binlog,解析 Binlog 之后,得到实时的数据变更信息,然后根据变更信息去更新/删除 Redis 缓存;
    • MQ+Canal策略,将Canal Server接收到的Binlog数据直接投递到MQ进⾏解耦,使⽤MQ异步消费Binlog日志,以此进⾏数据同步;

    不管⽤ MQ/Canal或者MQ+Canal的策略来异步更新缓存,对整个更新服务的数据可靠性和实时性要求都⽐较⾼,如果产⽣数据丢失或者更新延时情况,会造成MySQL和Redis 中的数据不⼀致。因此,使⽤这种策略时,需要考虑出现不同步问题时的降级或补偿方案。

    B. 高并发情况

    使⽤以上策略后,可以保证在单线程/⽆并发场景下的数据⼀致性。但是,在⾼并发场景下,由于数据库层⾯的读写并发,会引发的数据库与缓存数据不⼀致的问题(本质是后发⽣的读请求先返回了)

    (1) 先删除缓存,再更新数据库

    假设线程 A 删除缓存值后,由于⽹络延迟等原因导致未及更新数据库,⽽此时,线程 B 开始读取数据时会发现缓存缺失,进⽽去查询数据库。⽽当线程 B 从数据库读取完数据、更新了缓存后,线程 A 才开始更新数据库,此时,会导致缓存中的数据是旧值,⽽数据库中的是新值,产⽣“数据不⼀致”。其本质就是,本应后发⽣的“B线程读请求” 先于“A线程-写请求”执⾏并返回了。

    或者

    解决策略:

    a.设置缓存过期时间 + 延时双删

    通过设置缓存过期时间,若发⽣上述淘汰缓存失败的情况,则在缓存过期后,读请求仍然可以从DB中读取新数据并更新缓存,可减⼩数据不⼀致的影响范围。虽然在⼀定时间范围内数据有差异,但可以保证数据的终⼀致性。

    此外,还可以通过延时双删进⾏保障:在线程 A 更新完数据库值以后,让它先 sleep ⼀⼩段时间,确保线程 B 能 够先从数据库读取数据,再把缺失的数据写⼊缓存,然后,线程 A 再进⾏删除。后续,其它线程读取数据时,发现缓存缺失,会从数据库中读取新值。

    redis.delKey(X)
    db.update(X)
    Thread.sleep(N)
    redis.delKey(X)

    相关文章

    如何在go语言中实现分布式缓存的功能

    2023-08-07
    语言
    分布式
    缓存

    Golang测试中的数据生成技巧

    2023-08-07
    数据
    生成
    技巧

    SQL数据库触发器语法详解 (sql数据库触发器语法)

    2023-08-06
    数据库
    语法
    触发器

    快速简单的删除Oracle数据库字段方法 (删除oracl数据库字段)

    2023-08-06
    数据库
    字段
    删除

    如何打开社工数据库bak文件 (社工数据库bak怎么打开)

    2023-08-06
    数据库
    打开
    社工

    实现数据库按拼音排序的方法和技巧 (数据库按拼音排序)

    2023-08-06
    数据库
    排序
    按拼音

    探究Sybase数据库的性能和功能特点 (sybase数据库怎么样)

    2023-08-06
    数据库
    性能
    探究

    SQL Server 如何成功建立自己的数据库? (sql server 建立数据库)

    2023-08-06
    数据库
    自己的
    建立

    如何在Oracle中查看数据库触发器? (oracle查看数据库触发器)

    2023-08-06
    数据库
    查看
    触发器

    数据库表数据量千万级,对性能影响有多大? (数据库表千万级数据量多吗)

    2023-08-06
    数据库
    级数
    有多大

    如何使用Oracle按时间导出表数据库? (oracle按时间导出表数据库)

    2023-08-06
    数据库
    导出
    如何使用

    数据库存储:帖子长期保存,信息永不丢失 (帖子存数据库)

    2023-08-06
    数据库
    丢失
    帖子

    小米六数据库:全方位数据保障和优化方案 (小米六数据库)

    2023-08-05
    数据库
    优化
    小米

    简易教程:使用dbe数据库实现数据连接 (dbe数据库 数据连接)

    2023-08-05
    数据
    数据库
    连接

    Oracle实现多个数据库链接的简便方法 (oracle链接多个数据库)

    2023-08-05
    数据库
    多个
    链接

    数据库索引:用哪种方法建立? (数据库索引用什么建的)

    2023-08-05
    索引
    数据库
    哪种

    实现高效缓存同步:Redis数据库技巧大全 (redis 数据库缓存同步)

    2023-08-05
    数据库
    缓存
    同步

    如何利用数据库实现高效的模糊匹配查询? (数据库实现模糊查询)

    2023-08-05
    查询
    数据库
    模糊

    数据库有哪些安装方式和位置? (数据库是装在什么上)

    2023-08-05
    数据库
    位置
    装在

    Lactmed数据库:妈妈们必备的喂养指南 (lactmed 数据库)

    2023-08-05
    数据库
    必备
    喂养

    相关文章

    Oracle如何使用授予和撤销权限的语法和示例
    Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
    下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
    社区版oceanbase安装
    Oracle 导出CSV工具-sqluldr2
    ETL数据集成丨快速将MySQL数据迁移至Doris数据库

    发布评论