OceanBase 稳定支撑快手单集群超百 TB 海量数据

2024年 5月 7日 38.8k 0

公司介绍:快手(Kwai)是中国北京快手科技有限公司开发的短视频移动应用程序。前身为2011年面世的一款制作、分享GIF图片的应用“GIF快手”,2012年转型为短视频社区,2014年改名为快手。2021年,快手科技在香港联交所主板挂牌上市,截止2021年年底,快手平均日活跃用户为3.08亿,平均月活跃用户5.44亿,为中国头部短视频平台。

业务背景及挑战

随着订单业务量的增加,业务数据迅猛增长,传统数据库遇瓶颈。以订单业务为例,订单业务总数据量超过 150T 时,出现单机集中式数据库(如 MySQL)的存储瓶颈以及性能不佳问题越来越明显。

为缓解该类问题带来的业务影响,业务会选择分库分表方案来暂时应对存储和性能问题。不过随着业务不断增长,底层数据库的分片数会不断增加,当前快手线上 MySQL 分片数已达到 300+。

此时,不仅运维成本和复杂度有所增加,同时需要不断对应用进行改造和适配以解决不断分库分表带来的问题。快手意识到,当前的方案只能尽可能缓解业务遇到的问题,而无法从根本上解决。因此,快手亟需能在满足性能要求的同时降低使用、运维复杂度的数据库解决方案。

解决方案

  • OceanBase 高度兼容 MySQL 引擎,极大降低开发和使用门槛。业务人员可以沿用 MySQL 的使用方式来使用 OceanBase,而不需要改变使用习惯,同时在数据迁移方面,因 OceanBase 兼容 MySQL 协议与语法,因此可以做到平滑迁移,可大幅降低业务迁移和改造成本。
  • OceanBase 同城三机房部署架构,实现 RPO =0,RTO< 30秒 的容灾能力;同时又可以在异地增加一个只读 Zone 提供本地的读服务,提升查询效率。同城容灾以及本地读等功能为业务提供稳定性和性能双重保障。
  • OceanBase 具备灵活的资源扩展能力,根据业务实际发展情况可以动态的进行计算和存储能力的线性扩展,支撑海量数据的存储和计算,同时很好地应对未来的业务增长要求。
  • OceanBase 数据压缩能力,相比传统的集中式数据库 MySQL,OceanBase 在存储层面极致的压缩能力,有效降低企业使用数据库的硬件成本。

OceanBase 稳定支撑快手单集群超百 TB 海量数据-1

客户收益

1、运维更加高效与便捷:单集群替换 300+ 套 MySQL 环境,运维管理成本大大降低,同时管理更加方便。

2、低成本:支撑上百 TB 数据存储场景且性能和稳定性有保证,同时相比较之前的方案,OceanBase 方案的存储成本降低 75%,降本效果明显。

3、数据同步性能提升:数据从上游写入到下游 OceanBase 响应延迟更小,数据同步速度更快,同步延迟时间减少 3/4。

欢迎持续关注 OceanBase 技术社区,我们将不断输出技术干货内容,与千万技术人共同成长!!!

搜索🔍钉钉群(33254054),或扫描下方二维码,还可进入 OceanBase 技术答疑群,有任何技术问题在里面都能找到答案哦~

OceanBase 稳定支撑快手单集群超百 TB 海量数据-2

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论