文/方正证券信息管理部 白凡
来源 / 金融电子化
随着互联网、云计算、大数据等的普及应用,以及“留量”运营时代的到来,给传统证券企业带来诸多挑战,促使证券行业的整体数智化水平不断提高。
数智化水平的提升,离不开底层的数据建设。架构层面,集中式技术架构的瓶颈凸显,证券行业新一代核心系统的建设需要向分布式、低延时、开放技术架构转型;数据库层面,传统集中式数据库已无法满足现阶段的海量数据,在性能、可靠性,以及扩展能力等方面已经逐渐落后,分布式数据库成为证券行业新一代核心系统的新选择。
1、系统调研,为新核心选型新数据库
方正证券作为证券行业数智化转型先锋,积极采用和尝试新技术。传统集中式数据库对单台服务器的配置要求较高,在扩展方面也会导致成本的指数级增加,而分布式数据库可快速实现容量、性能等横向的扩展。
从 2020 年到 2021 年,方正证券与恒生电子数据库小组,对各类信息技术应用创新产业数据库产品进行了系统调研,共调研了市面上主流的 9 款数据库产品,并进行了长期的功能及性能测试验证,最终选择 OceanBase 支撑新一代认证系统。主要原因如下:
▷ 数据库产品技术领先方面。从架构先进性、SQL 兼容性、高可用能力、备份恢复方案完整性、运维管理工具完善性、安装要求及难度等维度进行评估,OceanBase 是综合评分最高的数据库。OceanBase 是全自研的原生分布式数据库,天然支持分布式事务,采用多副本架构,满足金融核心交易场景 RTO、RPO 要求,同时兼容 Oracle 和 MySQL 两种语法,有丰富的安装、迁移、SQL 评估、备份恢复工具,有全面的文档系统,是一款值得信赖的数据库。
▷ 市场生态方面。从金融机构案例数、方案完整性、培训认证体系完整性、社区活跃等维度进行评估,OceanBase 综合评分最高,且没有明显短板。
▷ 持续经营方面。从公司性质与实力、数据库开发团队规模、数据库业务重要性、数据库业务成长性等维度进行评估 OceanBase 综合评分排在前列。
▷ 售后服务方面。从需求响应、售后团队规模、售后流程规范、问题解决率等维度进行评估,OceanBase 综合评分排在前列。
2、技术可靠,实现单体架构向分布式升级
方正证券原认证系统采用“小型机+存储+集中式数据库”技术路线,在已经是顶配的情况下,仍然会在性能和容量遭遇瓶颈时,出现水平扩展困难、扩容成本极高的问题,很大程度上制约了方正证券多个业务系统的整体处理能力。
同时,随着互联网业务的快速发展,现有的单体架构和强依赖于 Oracle 特性的计算服务,单纯依靠纵向增加服务器配置来提升容量和性能,已经无法满足方正证券的业务快速发展需要。业务中间件层面,现有中间件系统间耦合度较高,逻辑联系紧密,拆解难度较大,一旦单个组件故障,可能引起连锁反应。
本次新一代认证系统升级,方正证券实践了全栈技术路线技术可靠,硬件设备包含网络交换机、防火墙、负载均衡、服务器,软件包含操作系统、业务中间件及数据库等基础平台,实现了完全技术可靠。技术架构如下图 1 所示。
业务侧进行微服务改造后,实现架构、功能上的充分解耦,功能单元独立,相互之间影响较小;支持数据分片模式,能根据业务、功能、技术需求自定义数据分片,能同时支持不同数据源写入,调整动态灵活;还支持国密算法作为程序加密算法。
图1 认证中心及相关设备架构图
新一代认证系统不仅技术路线实现了全栈技术可靠,还从整体架构上完成了从单体架构向分布式架构的转型,为业务的长期高速发展打下了坚实的基础。部分硬件设备配置对比见下表 1。
表1 方正证券升级前后软硬件对比
3、多租户资源池化,兼具性能与可运维性
中间件通常应用独占物理服务器,无法充分利用硬件资源,导致一定资源浪费。主流的微服务应用架构,基于传统的集中式数据库架构很难实现横向水平扩展。同时,多个微服务使用的数据库一般通过 schema 隔离,多个 schema 之间无法实现各自所需的资源的隔离。因此,资源碎片化、管理复杂、资源浪费、扩展性差等问题逐渐暴露出来。
方正证券基于 OceanBase 的分布式架构打造了自己的 DBaaS 平台,利用 OceanBase 原生多租户的能力,将多个不同业务的数据库实例集中整合,不仅提升资源利用率,同时基于 Paxos 的多副本机制可以保证每个资源单元的高可用能力。
图2 认证分布式数据库租户副本示意图
这种用法,将业务系统不同微服务所需的数据库实例进行资源池化,提供不同规格的实例,在一套分布式架构中实现多个数据库租户(实例)的资源池化能力。这样,在保证资源隔离性的同时显著降低资源和管理成本,还依然能够保持优秀的性能和可运维性。
▷ 性能方面。原生分布式数据库多节点同时可写,并行性能突出,方正证券新一代认证系统的批量业务能力,在与 Oracle 同等条件下,性能不减反增。并且,单节点成本低廉,面对未来性能要求,可以直接通过加减 X86 服务器实现动态扩缩容。性能压测对比见下表。
表2 性能压测对比
▷ 可运维性方面。多个零散的实例统一在 OceanBase 集群后,运维管理的复杂度大大降低,DBA 可以从之前管理多个分散实例,到目前管理单个 OceanBase 集群,负载、告警、调优全部统一至集群级别,常规故障能够自动恢复,从而大幅提升业务支撑效率和应急响应能力。
4、买迈上新台阶,迎接新发展
本次新一代认证系统的成功上线,标志着方正证券再一次勇于尝试新技术的成功。
立足行业,方正证券新一代认证系统于2021年底完成生产上线,是行业内率先在零售柜台核心生产系统使用分布式数据库的企业,也是业内首批使用OceanBase的用户,并在分布式数据库部署和运行前后提出并解决22项疑难问题,助力信息技术应用创新产业产品功能与性能迭代提升。
特别值得一提的是,经测算,该系统TCO(Total Cost of Ownership,总体拥有成本)降低72.6%,主要体现在两个方面,一是,原配套体系昂贵,需要专用存储光交连接小机和存储,同时需要购买响应硬件模块和软件各类许可,还需要按年购买软硬件各类维保;二是,OceanBase 数据压缩功能强大,如方正证券部分MySQL 租户实测迁移前后数据量占用空间减少 66%,节省了大量的存储空间。
结合此次积累的经验,如分布式架构优化经验,原生分布式数据库的访问方式灵活,目前已融入方正证券现有运维体系,通过工单系统 FCMP 进行自助式部署、回收和生命周期管理、数据库管理平台 FDBMP 进行数据库容量和监控管理、运维系统 FOPS 进行中间件和操作系统的自动化运维管理、带外系统FDCM管理各类硬件,以及智能运维平台 Finsight 进行指标类、日志类的异常检测等等。
后续方正证券将把分布式数据库技术应用于更多证券关键业务场景,解决系统容量与扩展性的瓶颈,提升业务运营效率,为方正证券数智化转型与迎接业务新发展保驾护航。