国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾

2024年 5月 7日 71.4k 0

OceanBase 社区企业行系列活动10月21日来到深圳,本期走进 vivo,和深圳用户聚焦国产数据库在不同企业、不同行业、不同应用场景中,共同分享和探讨最佳落地实践。本次vivo站企业行活动,吸引了众多数据库技术爱好者的积极参与。来自 vivo、多点 DMALL、百丽等公司的8位技术专家和企业代表,为与会者分享他们使用 OceanBase 的经验与感受,如深入了解核心业务场景、数据库解决方案痛点及选型需求,以及制定优化方案,为业务及企业带来更大的价值和效益。

活动现场,OceanBase 开源生态资深技术总监封仲淹在开场致辞中谈到,作为国内领先的数据库厂商之一,OceanBase 在分布式事务、分布式计算、分布式存储和多租户隔离等核心技术方面,有超过10年的大规模企业级场景磨炼,连续10年稳定支撑双11。希望开源的OceanBase, 能够帮助大家突破技术架构的升级瓶颈,解决业务的增长问题,同时实现降本增效;同时,感谢积极的用户与开发者,一起热情的参与 OceanBase 的社区建设与项目代码贡献,持续为 OceanBase 产品迭代提出更多优秀的建议。

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-1

(OceanBase 开源生态资深技术总监封仲淹)

vivo 降本增效:探索成本效益最优的数据库解决方案

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-2

廖光明vivo 体系与流程 IT 部门数据库高级工程师)

vivo 体系与流程 IT 部门数据库高级工程师廖光明作为第一位演讲嘉宾出场,他分享到:当我们面临经济效益困难时,OceanBase 能够解决资源错配问题,从而降低成本并提升性能。我们也意识到一些数据库业务系统的扩展性有限,这也是引入 OceanBase 的机会所在。

在某些场景下,传统的分库分表架构无法避免跨库查询的问题,给业务系统带来挑战。因此,我们希望尝试引入分布式数据库。在考虑其他分布式数据库厂商时,我们主要关注满足需求的前提下,如何在运维成本和实际付出成本方面获得更好的结果。我们选择 OceanBase 的一些考虑因素包括:

  • 产品成熟度。OceanBase 在蚂蚁等公司有广泛的应用场景,通过实际测试,我们发现 OceanBase 在一些场景下明显优于MySQL,尤其是在并发量超过50的情况下。在复杂查询压测场景下,OceanBase 相比于 MySQL 性能优势更加明显,例如 select random 等查询语句。
  • MySQL 高兼容性。兼容性测试显示,OceanBase 在很多方面与 MySQL 兼容性良好,避免了用户进行繁琐的改造。在DDL 方面更是全面支持,几乎涵盖所有操作。另外,在端到端可用性、审计、执行计划稳定性等方面也有良好的支持。
  • 监控中心和运维配套工具,如 OCP、OMS 和 ODC这些配套的管理、迁移、开发工具,能够减轻DBA的负担,包括开发任务、审核、数据执行、归档和删除等操作,有效提高了工作效率,避免了严重问题的发生。

多点 可靠高效 :OceanBase 赋能 SaaS 场景探索与思考

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-3

(冯光普,多点 DMALL 数据库团队负责人)

多点 DMALL 为很多零售企业提供数字化解决方案,包括在线购物体验、自助收银、ERP、WMS 系统等,如物美、万宁、711等零售企业都是我们的客户。在业务发展过程中,多点 DMALL 数据库团队负责人冯光普谈到面临的一些痛点和挑战:

首先,微服务架构中,系统和数据库规模大,复杂度和管理成本高。

其次,促销活动和多租户场景下数据量的快速增长,给数据库的扩展性提出了有挑战性的要求。

还有,拓展海外市场时,新部署整套SaaS系统成本高,业务增长存在不确定性,面临资源规划、快速扩缩容等难题。

为了解决这些问题,相比传统的数据库如 MySQL,分布式数据库能够更好地应对不断增长的挑战,减轻了 DBA 的压力,有效的解决了企业面临的问题。

1、解决了数据增长透明扩展问题:通过自动均衡数据迁移,能处理更大规模的数据分片,解决了表数据量过大扩展难的问题,可避免业务快速增长过程中需要更换存储层解决方案的昂贵代价、牺牲业务迭代效率,通过动态扩缩计算和存储节点,实现灵活控制资源成本。

2、确保数据的一致性和可靠性:分布式数据库通过内部的高可用机制实现了自动故障切换,确保数据的一致性和可靠性,而传统的高可用组件可能存在脑裂导致的数据不一致问题。

3、OceanBase 降低了网络层面的性能开销:相比其他分布式数据库在性能方面具有优势,数据分片逻辑、OBProxy 和 OBServer 的架构设计,最大程度减小了网络开销,提高了性能。OBProxy 负责路由 SQL 请求,OBServer 执行 SQL 操作,OBProxy 能够准确定位数据存储的位置,避免多次网络交互。此外,OceanBase 通过控制数据分片粒度为单个分区,或单个表,可实现80%以上事务可在单节点处理完成,避免分布式事务网络开销。

OceanBase 作为一种分布式数据库在 SaaS 场景下具有可靠且高效的解决方案,它能够处理大规模数据,支持动态水平扩容;通过高压缩率和动态资源分配降低存储和运维成本;多租户架构使得资源分配更具灵活性;通过优化网络开销提高了性能,为业务的快速发展提供支持。

OceanBase:单机分布式一体化的产品特性解读

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-4

(郑晓锋,OceanBase 技术专家)

2022年,OceanBase 4.0版本发布,这是一个里程碑,奠定了单机分布式一体化架构的基础。通过单机分布式一体化架构,我们可以根据需求选择不同的部署模式。既可以单节点、主备库方式部署,也可以扩展为1-1-1的分布式集群。这些模式完全由内核支持,并且在使用过程中随时可以将这些架构相互转化。

OceanBase 技术专家郑晓锋介绍,为了提升单机性能,OceanBase 进行了一系列优化措施。首先,消除了分布式的开销,如网络开销,通过合并日志流的优化,将尽可能多的分布式事务转换为单机事务,从而提升了性能。其次,改进了加载内存的方式为按需加载,优化 CPU 的开销以降低资源消耗,也从SQL引擎层面优化执行效率。

OceanBase 4.2 版本进一步增强了主备库,采用了类似于 MySQL 的网络传输方式;改善了空载 CPU 的性能;做了日志写入限速的优化;提供了 OCP 社区版的白屏化部署;增强了生态全链路诊断能力,并针对4G小规模性能优化。另外,还引入了旁路导入的功能,通过直接写入存储引擎的 SStable 文件,大幅提升了数据导入的速度。

除此之外,OceanBase 4.2 版本还优化了执行能力,提升了 AP 场景下的性能,并支持在 SQL 级别进行资源隔离,限制CPU、内存、iops等资源的使用。此外,我们通过dblink功能实现了不同租户之间的数据分析和处理,支持与开源工具的兼容,增强了全链路诊断能力,并提供了主备租户能力来提高资源利用率。

这些优化和功能增强都是为了提高 OceanBase 系统的性能和易用性,希望用户能够获得更好的体验。我们将不断努力改进,为用户提供更强大、更可靠的解决方案。

OceanBase 4.2 初体验

百丽:相比 MySQL 性能提升至少十倍

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-5

黄尖,百丽数据库专家)

百丽使用的架构是基于 Mycat 和 MySQL 后端的分库分表架构。在使用过程中遇到了一些问题,如 Mycat 性能不稳定。百丽数据库专家黄尖表示:

  • 性能提升至少十倍:通过测试发现,将数据迁移到 OceanBase 后,性能提升至少十倍。OceanBase 的分区调整操作简洁快速,减少了DBA 的工作量。
  • 灵活扩缩容:OceanBase 的扩容方式更灵活,支持水平和垂直扩容,并且数据文件会自动扩展。
  • 确保事务的一致性:OceanBase 具有对原生分布式事务的支持,确保事务的一致性。数据复制方面,每个节点都有数据副本,无需额外中间件。分布式查询方面,可以利用每个节点的能力进行并行查询,提高性能。高可用性和容错性方面,会自动进行副本切换,操作便捷。
  • 部署快捷、易运维:在使用 OceanBase 4.2 版本的实践中,我们发现 OceanBase 底层的日志流概念解决了分区数限制的问题,部署方式会更简便,通过图形化界面进行操作。使用 OceanBase 的 OMS 功能成功迁移数据库管理平台,并且提供丰富的 API,可以与现有运维体系对接,减少工作量。

货拉拉:从传统数据库困境到 OceanBase 的优化路径

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-6

蔡鹏,货拉拉数据库负责人)

在货拉拉的案例中,首先面临的问题是可扩展性。货拉拉在线订单系统数据量约为 45TB,峰值每秒查询数(QPS)达到十几万。为了应对这样的规模,采用了分库分表架构。然而,这种架构存在技术复杂度较高的问题。使用成熟的中间件无法满足企业级应用的需求,因此很多大型公司更倾向于自研中间件。同时架构改造对业务的入侵较大,而扩容涉及数据的过程非常痛苦,并且在容量评估方面也存在困难。一个操作可能涉及多个数据分片,经常需要处理分支事务和数据补偿。为了解决这个问题,货拉拉采用了分布式事务的补偿服务和数据补偿脚本。

货拉拉数据库负责人蔡鹏介绍了具体的落地实践和经验。

  • 高效处理大表 DDL 操作:在传统的单机数据库中,资源分配可能出现过多或过少的情况,我们往往通过增加节点来解决这个问题,但是写操作有容量上限,而大表的 DDL 操作也非常痛苦。但是这些问题在 OceanBase 中得到了解决,可以简单的增加节点来提高读操作的能力,提供更高效的方式来处理大表 DDL 操作。因此我们不再需要为资源利用率而担忧。
  • 无需大规模改造平滑业务迁移:在业务上线和下线过程中使用 OceanBase 时无需进行大规模的业务改造,也不会出现数据一致性问题,有效的提供了简单扩容和缩容机制。
  • RPO=0的容灾能力:在容灾方面,传统架构通常采用主备架构或双湖架构,但复杂性较高。容灾过程中需要考虑许多细节,如高频中间件与数据库代理中间件的融合、数据库切换后的业务恢复、RTO 和 RPO 的保证等。OceanBase 保证了平滑的切换和 RPO=0 的容灾效果。
  • 多租户提高资源利用率和部署密度:在使用 OceanBase 的过程中,除了通过归档服务和生产环境的测试,解决了碎片问题和 CPU 利用率低的情况,我们还成功通过 OceanBase 多租户的能力提高了资源的利用率和部署密度。总的来说,OceanBase 为我们提供了一种简洁高效的解决方案。

云集:互联网公司 DB 服务器成本优化实践

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-7

(曾祥勇,云集数据库专家)

作为云集电商的 DBA,曾祥勇团队面临着日益增长的成本优化挑战。为了解决这些问题,他们采取了一系列的策略和方法,以下是云集数据库专家曾祥勇的介绍

  • 首先,如何降本?我们专注于降低服务器成本,这是我们最大的开支。我们通过简化数据流和减少运维工作量来提高服务器利用率。
  • 其次,如何保证数据的可用性和安全性?我们采用了微服务架构和缓存技术来满足高并发写入需求。同时,在数据库方面,我们使用腾讯云的 CDB,并采用主从架构和冗余备份来提高数据的可用性和安全性。

云集经过摸索,基于OceanBase找到了一条有效的解决问题办法。

  • 全链路优化:为了实现业务的整体数据聚合和查询,我们使用了 OMS 将分散的数据同步到 OceanBase。同时,我们还面临着分库分表、中间件使用和运营成本增加等问题。为了解决这些问题,我们采取了业务架构简化、数据归档、服务器降配和新技术应用等措施。
  • 综合考虑各项因素:我们选择了 OceanBase 作为替代 MySQL 的数据库,考虑了其兼容性、稳定性、性能和生态等因素。

通过成本优化,我们成功地降低了服务器成本,并取得了显著的成果。这一过程中,我们遵循了稳定性、简单性、业务无感知和避免过度优化等原则。尽管在技术选型和实施过程中会遇到一些阻力,但我们克服了这些困难,并取得了令人满意的结果。在未来,我们将继续努力改进和优化,为云集电商的可持续发展提供更好的支持。

慧视通:车联网海量数据库场景下的 OceanBase 实践

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-8

(梁君,深圳慧视通科技技术主管)

深圳慧视通科技主要从事车联网业务,包括出租车、网约车、物流车、新能源汽车和汽车租赁等与车辆有关的位置服务,为这些车辆安装定位设备,通过终端产生大量的数据。这些数据经过云平台进行处理,并提供各项微服务,分发到车联网平台、政府监管平台、运营中心、行业协会、客服中心和大数据中心等各个子系统。

海量数据且高并发,这个问题怎么解?深圳慧视通科技技术主管梁君表示:由于业务量庞大,我们每天处理超过1亿个数据,并且处理峰值可以达到每秒1万次以上。随着数据的持续增长,我们对存储和运维成本有着比较高的要求,因此对于数据的压缩率和挖掘分析能力也有一定的要求。在经过调研后,我们选择了 OceanBase 作为我们的数据库解决方案,因为它既符合我们的需求,同时也满足了数据库升级要求。

平滑迁移 OceanBase 解决业务痛点。在选择适合的数据库解决方案时,考虑因素主要包括技术架构、迁移和改造的成本、社区成熟度。在迁移过程中,我们面临了一些挑战,包括学习成本、兼容性和性能问题。但是通过 OceanBase 的技术支持和社区合作,我们成功地完成了数据库的迁移工作,并且保留了设计方案,以确保业务的平稳过渡。整个迁移过程历时十个月,期间我们仔细审视了整体架构,详细分析了代码量和结构,并借助迁移工具和自研代码脚本解决了兼容性和数据迁移方面的问题。这次迁移不仅让我们顺利完成了数据库迁移,还为未来的技术改进和优化提供了宝贵的经验。

爱可生:ActionDB 助力企业国产数据库的升级

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-9

(刘世红 爱可生解决方案架构师 )

爱可生解决方案架构师刘世红分享了基于 OceanBase 开源内核打造的 ActionDB 的车联网领域的应用案例。ActionDB 继承了 OceanBase 稳定可靠、高性能的优点,同时增强了 MySQL 兼容性,并提供多模数据库管理平台和企业级安全特性。这些特性使 ActionDB 能够满足包括金融核心场景、云上部署和私有化生态在内的多种市场需求。

在国内知名体育品牌应用案例中,客户面临大量数据、高速增长和性能问题。核心系统迁移至ActionDB后,客户受益明显。存储压缩比提高、业务扩展性增强、DDL处理便利和报表数据处理速度提升。

我们与OceanBase开源社区合作,为客户提供了基于开源内核的商业数据库解决方案。ActionDB展现强大的性能和丰富的功能,为车联网领域的数据库转型提供了可靠的解决方案。

本次活动中,多个企业技术专家基于 OceanBase 的落地实践,为更多企业用户提供了解决选型难题的参考建议,在新零售、泛互联网、传统行业转型等不同行业的实战经验,启发了与会者如何更好地应用数据库技术,助力企业技术架构不断升级迭代,帮助企业实现更大的价值和效益。

国产数据库OceanBase在多场景的应用实践与探索|企业行精彩回顾-10

OceanBase 定期在线上、线下举办技术交流活动,为数据库技术和开源爱好者提供一个自由学习、交流的平台。无论你对分布式技术、数据库技术感兴趣,还是作为开源爱好者,都欢迎你参与活动,和大家交流技术。

社区志愿者招募

欢迎对数据库及开源感兴趣的朋友加入 OceanBase 社区,成为社区讲师或城市活动组织者,举办更具城市特色的活动,与 OceanBase 一起连接更多数据库和开源的爱好者。

加入方式:添加OB社区小助手(微信:OBCE666)回复【讲师】【志愿者】或【承办活动】。

同时,欢迎大家加入社区,提交问题和建议,一起共建开源项目。Building connectly first!Learning as belonging!

OceanBase 开源项目地址:https://github.com/oceanbase/oceanbase

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论