滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾

2024年 7月 18日 74.1k 0

OceanBase Meetup · 北京站圆满结束。本次 Meetup 活动聚焦《AI 驱动下的一体化分布式数据库:跨行业多场景的创新应用与实战》,汇聚了滴滴、快手、中国恩菲、好未来、翼鸥教育、蚂蚁集团、OceanBase 等多个行业的技术专家,多位用户从应用 OceanBase 的实践场景出发,共同与会探讨了应用 OceanBase 的经验干货和最新技术实践。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-1

活动针对众多用户关注的版本升级、AI 与数据库融合、云服务等热点问题,特别邀请了 OceanBase 的技术专家进行了详细解读,直击问题核心,为众多线上/线下用户答疑解惑,提供了实际操作的经验和灵感。

以下内容为本次活动的精华提炼,欢迎阅读了解。

阳振坤展望数据库未来:开源驱动创新,分布式架构引领云时代转型

OceanBase 首席科学家阳振坤老师为本次活动发表致辞,他深刻分析了开源数据库的未来潜力及分布式数据库作为行业主导趋势的可能性,进一步解析了云服务促成高收益的机制及其对数据库向分布式转型的影响逻辑。

阳老师强调,技术演进的浪潮中,开源已成为驱动创新的重要引擎,尤其在数据库技术领域,其作用日益显著。当前市场上主流的数据库系统大都建立在开源技术的基础之上,这验证了开源的广泛影响。即便是行业内的领头羊,也需借助开源保持竞争优势。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-2

随着云计算技术,特别是公共云服务市场的飞速发展,数据库技术正经历一场向更灵活、更易扩展的分布式架构变革。这一转变极大增强了系统的效能与经济性,并为云服务的广泛应用开拓了新途径。以亚马逊为例,其高盈利部分归功于高效利用资源和规模经济效益,通过将硬件利用率提升至 20%,实现了成本大幅节约。类似地,如滴滴也受益于资源的复用和成本降低。云环境的核心优势,在于其对分布式资源的高效管理和调配能力,确保企业能够无缝应对数据库扩展等业务需求,减少总体成本。

阳振坤认为:未来数据库技术的演进将以分布式架构为核心,作为支撑云计算不断扩张与演进的关键基础。

滴滴分布式存储实战:OceanBase 的选型与优化之路

滴滴分布式存储运维负责人吴其朋重点围绕选型、实践、优化、以及集成运维等方面,与会分享了滴滴在分布式数据库领域的探索与实践。

面对千万级日流量和 6.5 亿用户量带来的性能、效率、成本及一致性挑战,滴滴自 2021 年起便积极探索并采用了多种分布式数据库解决方案。经过一段时期对不同方案在稳定性、降本增效及未来发展潜力方面的严格考察与评估,最终在 2024 年做出了转向 OceanBase 的重要决策,以应对业务增长带来的压力挑战,借助 OceanBase 进一步强化了滴滴的系统支撑能力,确保为全球用户提供更加流畅、稳定的出行服务体验。目前滴滴业务及数据库现状如下:

  • 用户规模:全球用户量达到 6.5 亿,提供 11 种不同的出行方式。
  • 数据库现状:底层数据库主要基于 MySQL,拥有超大规模的集群,单实例容量超过 2T,最大集群规模达到几十个,总分片容量达到上百 T。然而,伴随业务的快速膨胀,MySQL 遇到了性能瓶颈、效率低下、成本上升以及数据一致性难以保证等挑战。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-3

滴滴选择引入分布式数据库,主要为了解决以下四个核心问题:

  • 性能瓶颈:处理百亿级别的大表查询时,单条查询时间过长。
  • 效率问题:核心服务的 DDL 操作耗时长,影响业务更新速度。
  • 成本考量:TP+AP 场景下的学习与改造成本高昂。
  • 数据一致性:金融级业务要求严格的一致性,而 MySQL 的主从复制延迟无法满足。

吴其朋表示:在滴滴选型分布式数据库的过程中,核心考量因素是稳定性、高效的运维特性,包括快速 DDL 变更与灵活的资源伸缩能力,满足未来需求的前瞻性,尤其是针对双活业务的设计。新分布式数据库的引入,虽然加速了 DDL 操作并实现了扩缩容的敏捷响应,但也遭遇了业务延迟加剧和数据不稳定性的挑战。应对此类问题,团队历经广泛测试、高强度压力验证,并在诸如非核心归档库的实践项目中不断摸索,积累宝贵经验。正是基于这些努力,滴滴最终选定 OceanBase 作为数据库解决方案,以应对业务增长带来的压力和问题,全面升级系统性能与稳定性。整体 OceanBase 的应用实践如下:

  • 高可用性的双写策略:通过实施双写随机读模式,这一机制有力地保障了服务的高可用性,确保了即使在高负载情况下也能稳定运行。
  • 回滚机制降低风险:系统内建的灵活回滚机制允许快速切换到单边运行模式,这一设计有效控制了运维风险,提高了应急响应能力。
  • 性能提升显著:详实的上线前后对比分析验证了 OceanBase 在提升系统效率上的价值,实际应用中其性能与稳定性表现突出。
  • 上下游生态构建:通过 Binlog Service 实现与下游系统的无缝对接,同时通过多个 Binlog Service 同时授权多个 Proxy,实现故障切换和高可用。
  • 技术优化实践:通过对分区表设计、日志与数据分离存储等关键领域的实践,进一步提升了系统整体性能,其中分区表设计可根据多种维度(如订单号、司机、乘客)进行划分,极大优化了查询效率。日志与数据分盘存储策略有效避免了资源竞争。

未来,滴滴计划逐步扩大 OceanBase 的应用范围,减轻 MySQL 等超大规模集群压力,提升团队运维能力和解决问题的能力,加强运维管控,并针对特殊场景进行实施,如双活和金融级别的强一致性要求,以期降低运维成本,提升系统效能。

快手携手 OceanBase:解锁高性能低成本存储新实践

快手技术专家胡玉龙详细阐述了快手如何运用 OceanBase 应对 PB 级别的大数据挑战,以及在此过程中的技术演进、业务优化策略与实际成效。

快手面对数据量激增的挑战,通过将集群环境从 8 个扩展到 9 个,成功管理了从 800TB 到 PB 级别的数据量跃升。在此期间,数据节点数量从 200 增加至 300 多,同时通过技术优化,最大集群规模缩减约 30%,有效控制了资源成本。版本升级至 OceanBase 4.2 及以上,主要受业务需求驱动和成本降低考量,新版本显著提升了非分区表处理能力与查询性能,实现了在线分区转换,减少了维护成本,并通过逐步验证与推广,确保了业务稳定运行。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-4

在快手的电商交易核对场景中,OceanBase 作为存储解决方案,确保了数据的一致性。面对极端的延迟、稳定性要求和庞大的数据量,快手通过优化后,即便在高并发压力下也能维持良好的流量控制与响应时间。支付业务方面,解决了原有分布式方案的性能瓶颈,无需限流即可保证高峰期的查询稳定性,同时 DDL 时间显著优化,从每周一次缩短至小时级,加速建表。

列存储的引入为快手带来了查询性能的显著提升,特别是在日志处理与特定查询场景中,通过 API 加速,降低了查询延迟与写入延迟。此外,集群规模的有效调整与资源利用率的提升,不仅压缩了数据存储空间约 30%,还降低了 CPU 和内存消耗,使得业务处理更加高效且成本效益更高。

通过不断的技术迭代与策略优化,成功运用 OceanBase 应对了 PB 级数据带来的挑战,不仅提升了系统性能与稳定性,还有效控制了成本,展现了其在大数据管理领域的技术创新与实战能力。

中国恩菲大数据应用探索:OceanBase 赋能工业物联网构建高性能数据基石

中国恩菲大数据平台负责人苟琳概述了中国恩菲大数据平台从数据采集、处理、分析到应用的全过程,以及在此过程中遇到的挑战与解决方案,特别是在采用 OceanBase 分布式数据库方面的实践经验。

中国恩菲的数据源广泛,包括工控终端、智能设备、管控系统等多渠道产生的多样数据类型。这些数据首先通过 DCS/PLC/SCADA 等设备采集,并在边缘计算平台进行预处理,随后进入大数据平台进行深度集成与处理。平台利用 Hadoop 生态和 Flink 等工具进行数据存储与计算,构建了包括 ODS、DWD、DWS、DIM、ADS 在内的多层次数据仓库,有效支持了业务决策和生产系统的优化。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-5

面对物联网技术在工业领域的广泛应用及其带来的海量、分散、实时数据的挑战,OceanBase 以其分布式架构的天然优势,成为了破局的关键,特别是针对高频率数据流的承载能力。凭借与 MySQL 的无缝对接与卓越的迁移友好性,以及天然的分布式处理能力,有效解决了早期系统中的性能瓶颈问题。

在推进数字化转型的过程中,企业成功实现了服务器操作系统和数据库的替换,如采用龙蜥 Anolis 操作系统,同时引入 OceanBase 数据库,优化了整体数据处理流程。这一系列举措不仅提升了系统性能,也降低了运维成本。

在集团信息化业务管控系统的部署中,OceanBase 的应用显著提升了数据管理的效率与安全性。当然,任何革新之路都不会一帆风顺,在实施过程中遇到了集群部署失败、资源分配不当、配置错误等一系列技术难题。通过查阅官方文档、调整参数配置、硬件维护等措施,这些问题得到了逐一解决,确保了系统的稳定运行。

随着 OceanBase 数据库的成功接入,大数据平台正不断升级优化,苟琳老师在分享中表示:未来恩菲的目标是建立一个以 OceanBase 为基础的统一数据底座,实现数据的全面治理和统一管理,以适应更广泛、更复杂的业务场景。这不仅将加强数据的安全性与可用性,也将进一步推动企业数字化转型的深化,提高决策效率和生产智能化水平。

好未来携手 OceanBase:实现降本增效、展示容灾实力

好未来数据库专家王新然阐述了 OceanBase 在集团内部广泛应用的成功案例,重点突出了数据库系统在增强业务性能、成本控制和容灾能力上的关键作用。并说明了 OceanBase 有效支持了从 BI 数据分析到网校作业存储、大数据处理及内容审核等多元化需求,依托其分布式架构与高度可扩展性,确保数据服务的灵活性和高可用性。

通过用 OceanBase 替换 MySQL 集群,好未来极大地降低了存储成本,实现了从 TB 级别增量数据应对几个月的需求到支持长期数据留存的目标。特别是在大数据量存储场景下,与使用云上产品相比,成本节省可达 90% 以上,同时显著提高了数据处理速度,优化了用户服务体验。在内容审核场景中,OceanBase 凭借出色的扩展能力和高速处理性能,确保了高效合规的审核流程,增强了系统的稳定运营。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-6

针对数据库服务的高可用性和容灾挑战,OceanBase 采用的“同城三中心模式”通过分布式设计和多副本策略,实现了即使单点故障也能保持服务不间断,实现 RTO 小于 8 秒、RPO 为 0 的高标准容灾能力,有力保障了业务连续性。

好未来还成功利用 OceanBase 的自动故障恢复机制和先进的迁移工具,从 MySQL 平滑过渡到 OceanBase,期间未影响业务运行,进一步验证了 OceanBase 替代传统数据库解决方案的能力,并计划将其应用于替代 Redis 和 ClickHouse 的部分场景中,展现其在大数据处理与存储方面的高效性能。

王新然强调了后续会持续探索 OceanBase 的潜能,包括加强 OMS 工具的功能以满足更复杂的数据同步需求,并在内核层面进行创新,如引入存储分离架构,优化大数据查询性能,同时强化 ODC 安全特性,全方位保障系统的稳定与安全。

OceanBase 助力蚂蚁财富:数据管理进一步升级

蚂蚁财富投研支小助负责人纪韩阐述蚂蚁财富通过应用大模型和多智能体技术,在金融领域实现了多项创新实践。

其“投研支小助”产品,旨在协助专家分析师,通过提升分析效率来加速决策过程。该产品借助 agentUniverse 多智能体框架提供的“P-E-E-R”仿专家多智能体协同机制,集成了信息搜集、策略规划、深度分析等功能,模拟人类专家的精密思维路径。这不仅使得自动解析繁复的 PDF 研究报告,精确提取核心信息成为可能,还直接促进了量化因子代码的自动生成与回测,最终输出直观的可视化结果,极大提升了量化分析的效率。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-7

在这一系列创新背后,OceanBase 数据库为此类大模型智能体应用提供四类关键支撑:

  • 多元数据存储方案:OBKV 数据库集群作为底层,涵盖关系型、OBKV、CeresDB 与 TuGraph 等,可满足金融研究与量化分析领域的多元化数据存储需求,确保了数据处理的高效与适应性。
  • 灵活的数据处理能力:OceanBase 产品矩阵灵活支持多种数据结构,无缝对接大模型应用场景,可为复杂数据处理提供坚实支撑。
  • 高效运维与部署便捷性:在智能体及大模型运行中,OceanBase 强调可观测性与便捷运维,支持一键部署,简化了从开发到部署的全过程。
  • 企业级可扩展设计:着眼长期发展,OceanBase 具备高度的企业级可扩展性,充分满足企业随着业务增长而不断变化的需求,维持服务的稳定性与持续迭代能力。

总体上,OceanBase 可为“投研支小助”这一类大模型多智能体应用,提供数据管理平台、丰富的功能集合和高度的灵活性,赋能金融分析领域的智能化转型,推动金融服务向更深层次的自动化与智能化迈进。

OB Cloud 助力网约车行业:从容应对高并发与大数据挑战

在中国网约车市场蓬勃发展的背景下,OceanBase 解决方案架构师邵聪深入分析了智慧出行行业的市场动态及面临的挑战。根据公开公布的消息,2024 年第一季度中国网约车市场规模已突破 500 亿人民币,同比增长率高达 30%。在这样的格局下,网约车平台急需依靠技术创新和运营效率提升来获取可持续盈利,而数据库作为支撑系统的核心,正面临实时数据处理、高并发压力、低延迟需求、全局查询效能以及大数据管理的多重考验。

基于这样的背景,邵聪进一步分享了 OB Cloud 云数据库服务如何帮助曹操出行和 T3 出行解决业务问题。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-8

曹操出行所面临的主要问题包括单机存储瓶颈、单表性能瓶颈以及资源利用率低的问题。通过 OceanBase 的原生分布式架构实现了存储与处理能力的无限扩展,不仅仅解决了单库单表的存储和性能问题,同时从架构上完全规避了传统分库分表方案的弊端,业务使用完全透明。

在高可用能力表现上,满足 RTO<8 秒并且 RPO=0,保证业务服务连续性。该数据库系统还凭借 LSM-Tree 存储引擎和高级数据压缩技术,帮助客户在不损失任何性能的前提下降低存储容量超过 80%,极大地减轻了大数据环境下的经济负担。利用大集群多租户特性帮助客户提升资源利用效率,客户业务自上线以来,处理能力和稳定性提升明显,0 故障记录,并且资源拥有成本节约了 27%。

T3 出行则借助 OB Cloud 提升了数据库性能与技术降本。T3 出行面临高并发情形下的数据库扩展性需求,需要提升数据库的写扩展与 AP 能力以支持业务增长;同时原来遇到性能问题时解決问题依赖资源升配,需要新的技术方案来帮助提效和降本。

  • OceanBase 提供 OMS 工具帮助客户平滑迁移业务,支持单库单表、分库分表、数据汇聚等多场景数据同步到 OceanBase。
  • 利用分布式架构和集群多租户能力帮助在业务架构和同步链路上做双重简化,提升业务效率。
  • 利用 OceanBase 卓越的 TP 和 AP 能力,明显提升业务 SQL 和接口的处理效率,进而提升用户使用体验。

在效率提升的同时,OB Cloud 在帮助客户成本控制方面取得显著成效,部分已经上线的业务综合成本分别降低 49%和 30%。

从 3.1.4 到 4.2.1 :翼鸥教育的性能飞跃实践

翼鸥教育资深 DBA 姚力全面揭示了从 OceanBase 3.1.4 至 4.2.1 版本的升级历程,此番升级促使业务场景下的性能激增约 2 至 3 倍,尤其在高强度读写环境下依旧能维持顶尖性能水平,有效克服了 MySQL 在大数据处理与高写入负荷下面临的瓶颈,诸如处理效率低、数据膨胀及读写速率受限等。OceanBase 凭借压缩技术、高效的分片管理和高度可用性,成为此次系统性能与扩展性飞跃的不二之选。

升级之旅并非坦途,团队面临了数据迁移的复杂度和确保业务连续不中断的双重考验。通过精心规划,团队利用 SLB 与 OBProxy 组合部署,有效增强了数据处理能力,并通过 DataX 和 OMS 工具实现了数据到大数据平台的高效迁移与实时同步。对于 3.1.4 版本 DDL 支持不足和字符集引发的数据迁移中断等技术障碍,团队采取了版本甄选、功能验证、组件迭代及集群升级等策略,确保升级,不仅解决了现存问题,还充分考量了新功能与业务需求的契合度及系统稳定性。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-9

在深入到企业级数据库迁移实践部分,团队创新使用 TCPCopy 技术进行回放测试,结合多租户架构与网络抓包分析,有效识别并预解决了潜在问题。通过在不同硬件配置上对比新旧版本性能,验证了新版本在性能增强与稳定性方面的显著进步。此外,迁移流程严格遵循准备、实施、验证三阶段,特别关注数据兼容性与回滚策略,确保了升级的平滑进行,并通过优化 DDL 处理和性能瓶颈,进一步提升了系统效能。

关于 OCP 升级与 OMS 迁移,团队克服了 Operation task 执行失败等挑战,通过直接干预数据库状态解决了升级路径上的障碍。针对 OMS 迁移中遭遇的数据迁移速率慢等问题,通过灵活调整配置参数实现了效率提升,并就大数据同步的性能瓶颈探讨了相应的优化策略,强调了按需动态调整参数的实战价值。姚力还分享了 OceanBase 优化器的宝贵实战洞见,涵盖版本升级以消除特定错误代码、跑批作业的智能分区规划及利用本地索引提速查询等方面的策略。

AI 时代下的数据库转型:向量处理与多模态发展关键

随着 AI 技术的迅猛发展及大模型应用的普及,数据库技术面临一系列新兴挑战与变革。OceanBase 高级技术专家蔡飞志在近期分享中解析了这一趋势:AI 时代的数据库,不仅要支持向量计算的能力,还应具备结构、半结构、非结构化数据的多模查询的能力。并且随着应用的深入,传统数据库具备的备份、可观测、易运维等产品化特性也成为了不可或缺的能力。

蔡飞志也讨论了向量在 AI 应用中的核心作用,阐述通过向量嵌入技术,复杂数据可转换为高效检索的向量格式。然而,有效管理这些数据挑战重重,需要数据库在存储向量的同时优化计算与检索性能。他不仅分析了现有解决方案的利弊,还详细介绍了 OceanBase 在向量检索这块的方案设计和 Roadmap。

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-10

在谈及 AI 技术对数据库系统的优化时,蔡飞志分享了一个基于大模型应用的开发框架和传统应用开发框架的区别。并通过具体的例子,比如借助 AI 辅助的问答系统,探讨多模态数据库与 AI 应用潜力。他坚信,多模融合是 AI 时代数据库发展的必经之路,在 AI 时代数据库还拥有广阔的发展空间和无限可能。

封仲淹分享开源远景:核心增强用户的自助能力

在活动尾声,OceanBase 开源生态资深技术总监封仲淹分享了下半年的规划与愿景,核心增强用户的自助能力。社区会分享覆盖产品上手、实战运用到故障诊断的全方位最佳实践,助力用户最大化利用 OceanBase 产品的效能。并通过联合举办活动,搭建更紧密的沟通桥梁,促进与用户群体的互动与交流。

围绕未来数据库的无限可能,封仲淹与现场用户一起畅想,并提出了多种对未来数据库发展的设想。

  • 虾皮资深存储研发工程师侯盛鑫:通过引出过往参与卡内基梅隆课程 peloton 的思考认为,随着硬件性能的不断飞跃和软件技术的持续进步,一些前沿的日志处理理念将逐步赋能数据库查询优化器模型,这将会为数据库领域展现出更强的处理能力和更高的效率。
  • 知乎数据库负责人代晓磊:深入剖析了多模数据库的崛起,强调在 OBKV、Redis 兼容性及分布式存储的加持下,全能型数据库已然离大家很近了。并认同其他老师们的观点,AI 与数据库的融合,尤其是擅长处理向量数据的系统,将在接下来三至五年内,作为提升算法性能与数据处理精度的核心要素。
  • 中国恩菲大数据平台负责人苟琳:“我们企业在选用国外数据库时,确实存在一定的顾虑和心理负担。因此构建本土化的未来数据库,实现自主掌控,成为了首要考量。从应用角度而言,我们非常关注分布式存储解决方案,以及如何实现数据查询的高度效率,这些都是我们业务实践中不可或缺的关键要素。”

讨论中,大家一致认为,面向 AI 时代的数据库需拥抱复杂数据结构,预示着 LSM 结构、创新日志管理技术与 AI 融合的无限可能。

封仲淹表示:开源已成为大势所需,当前开发人员使用的大部分软件逐渐倾向于选择开源产品,并且市场调查报告显示,开源趋势正在持续增强。开源软件的最大优势在于其分发效率最大化,相较于传统商业软件依赖于销售半径限制,开源软件让用户自行查找和传播,同时利用公司市场营销手段提升软件的知名度和覆盖率。云计算作为第二个重要趋势,正在促使基于云的各项技术不断涌现并快速扩张。根据 IDC 等机构的数据分析,云服务的使用逐年增长,背后的关键因素是效率提升和降低成本。

他还深入剖析了现代软件技术发展的三大驱动力:开源策略提升了软件的分发效率与市场竞争力;云化的趋势不仅增强了运维效率,还加速了软件迭代周期;而技术融合则促进了单一平台上多样化的处理能力,适应更多应用场景。最后,OceanBase 坚持开源路线,展现出对开放共享的坚定信心,技术架构正快速向云原生进化,具备多租户支持、高度弹性和灵活的部署能力,不仅限于云端或本地环境。

OceanBase Meetup · 北京站圆满结束,期待下一次相见!如大家想要了解更多内容,欢迎大家加入 OceanBase 社区提交问题和建议,一起共建开源项目。Building connectly first!Learning as belonging!

滴滴、快手、中国恩菲、好未来、翼鸥教育谈跨行业多场景的创新应用 | Meetup 北京站回顾-11

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论