人大金仓“黑科技”大揭秘|双轨并行不停机,金仓KFS保卫数据一致性到底

2023年 9月 27日 32.1k 0

关键字:人大金仓、KFS、数据迁移

国产数据库替代和新系统建设过程中,迁移停机时间长、影响生产业务运行、数据一致性无法保证、出现故障后缺乏回滚手段等问题,让用户对国产数据库系统的稳定性、处理能力有所顾虑。

金仓KFS提供了不停机迁移、双轨并行方案、全周期数据一致性保证方案,解决用户“不放心,不敢用”的核心痛点,帮助用户平滑从国外数据库切换到国产数据库,实现系统国产化。

一、关键问题与挑战

全周期数据一致性保证基于不停机迁移+双轨并行的平滑替代方案:

Kingbase FlySync实现Oracle到KES之间的数据实时同步,保证国外数据库与KES数据库之间的数据一致,随时应对所需的业务切换,即双轨并行。通常基于双轨并行方案的国产数据库替代过程可分为三个阶段:

当试运行过程有回退需求时,借助国外数据库与国产数据库之间数据实时一致,原作为备份的数据库,可以迅速接管为主库,有效保证数据完整性及业务连续性。

这个方案实现了国产数据库替代过程中的的平滑迁移和应急回退,但业务“0”停机,数据随时都在变化,如果在数据不一致的情况下切换,可能对业务运行造成重大影响。

l如何在此过程中保障切换和回退的数据一致性?下面让我们一起来揭秘其中的“黑科技”!

 

二、KFS的全周期数据一致性校验方案

双轨并行方案进行的同时,KFS保障切换和回退过程中数据的一致性分三个阶段完成:

① 应用从Oracle切换到KES数据库前,Oracle为业务主库,采用存量+增量校验,确认生产割接前Oracle->KES的数据一致性:

② 应用切换到KES为业务主库后,在KFS实时同步增量数据到Oracle的基础上,并行运行增量校验确认KES->Oracle的数据一致性:

③ 试运行过程中,可能会有应急演练、应用业务异常的情况,需要应急回切为Oracle为业务主库,切换完成后,采用增量校验保障Oracle->KES数据一致性:

使用此方案后,从数据迁移到数据库切换的全过程,增量数据校验与数据实时同步同时开展,在数据库切换前即可在线完成数据一致性确认和修复,大幅缩短数据库切换的耗时。

三、实测效果

此方案已经在国内某知名三甲医院项目落地,让我们来看看实战结果:

项目背景:存量数据40 G,增量数据每分钟约5.12 M。

1. 使用金仓全周期数据一致性保证方案前,校验方式和步骤为:

数据库切换全程总计耗时90分钟。

2. 使用金仓全周期数据一致性保证方案后,校验方式和步骤为:

数据库切换全程总计耗时2分钟,极大缩短因切换数据库导致的应用停机时间。

 

四、“黑科技”背后的原理

金仓全周期数据一致性保证方案使用了两种“黑科技”:不停业务存量数据校验技术和基于KUFL的增量校验技术。

l KFS的不停业务存量数据校验技术

在不停机迁移完成后,Oracle及KES端业务正常运行,KFS基于快照查询Oracle及KES的数据,校验数据的一致性。

l KFS基于KUFL的增量校验技术

启动KFS增量数据实时同步后,并行运行增量校验,获取增量数据。通过增量数据中的关键信息查询备份库的数据,校验增量数据的一致性。增量校验相较于全量校验的优势是,支持在有业务的情况下校验,且仅需要校验部分数据。

KFS拥有对存量和增量数据校验、修复方面的行业领先技术,下面我们来看看KFS与国外友商同款工具在数据校验修复能力方面的对比:

 

 

Kingbase

FlySync

评分

Oracle

GoldenGate

支持的数据源

支持常见国外数据库及国产数据库

×

仅支持常见国外数据库

数据校验修复模块

内嵌自带

×

依赖独立的Veridata工具(需另行采购)

不停业务存量数据校验修复功能

支持

×

不支持

不停业务增量数据校验修复功能

支持,无需在业务主库做查询操作,对业务无影响

×

Veridata支持
1)需要在业务主库执行查询操作,对正常业务有挤占
2)表结构要求高,要求有主键且必须有参照列(递增的时间或数值),可能需要修改业务库表结构

 

从对比结果可以看出,金仓KFS在支持的数据源丰富度,数据校验模块经济性和成本,不停机存量数据校验和增量数据校验方面以压倒性优势全面胜出。

五、结语

在数据库国产化替换过程中,在保证系统”0停机”平滑切换的同时,金仓KFS迁移方案尽可能减小了对上层业务的影响:

Ø 支持上层应用的逐步切换,达到平滑过渡目的;

Ø 支持数据反向同步,当国产数据库出现故障时,应用可以回切到源数据库上,并保持服务连续性。

基于Kingbase Flysync的不停机迁移、双轨并行方案,数据一致性校验方案,充分满足迁移过程中客户对业务连续性、数据全周期一致性、可随时应急回退的高需求,解除用户对新系统稳定性的担忧,确保用户数据安全无忧。

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论