重磅发布!CirroData for MySQL V2.0新一代实时数仓,查询性能提升5倍!

2023年 10月 30日 23.2k 0

全文约1517字,阅读约9分钟

“实时化”是市场对大数据分析技术提出的迫切需求,也是数据仓库技术发展的必然趋势。东方国信CirroData数据库紧跟市场需求,重磅发布了CirroData for MySQL V2.0新一代实时数仓,应对技术革新,满足市场需求。
CirroData for MySQL拥有卓越的性价比、超高查询速度、融合统一、简单易用、方便运维等特点,以应对企业在数字化转型中面临的海量数据、实时分析、敏捷开发等挑战。

CirroData for MySQL是由东方国信自主研发的新一代实时数据仓库,专注于应对海量数据实时分析应用领域的需求。它支持向量化计算引擎、pipeline执行引擎,同时支持行列混存和多种细粒度的索引,充分融合了分布式存储和MPP并行计算的优势。此外,它具备秒级扩缩容的能力,能够轻松应对云平台上的伸缩需求,并提供随需部署的灵活性,是新一代实时数仓的杰出代表。

CirroData for MySQL不仅具备高性能和高可用性,还非常简单易用。它能够在亚秒级响应时间内返回海量数据的查询结果,既适用于高并发的点查询场景,也轻松胜任高吞吐的复杂分析场景。这使得它成为报表分析、即席查询、统一数仓构建以及数据湖联邦查询加速等多种应用场景的理想选择。
此外,CirroData for MySQL还高度兼容MySQL语法,因此迁移变得非常便捷,同时也降低了运维成本。
CirroData  for MySQL 2.0 架构非常简洁,不依赖于其他任何外部组件,仅仅两个角色,Master Node和Segment Node。CirroData for MySQL 2.0版本相比1.0版本,新增了如下几个重大功能:
2.0版新增功能

新增pipeline 执行引擎、Join runtime filter优化、bitmap索引、基于CBO的优化;

支持hudi,hive作为外部数据源分析;

支持对parquet文件的直接查询;

支持行存;适用于高并发点查场景。

此外,我们还修复了一系列问题,主要有如下几个:

问题修复

修复load csv文件,分隔符是多字符时导致load失败的问题;

修复join hint不起作用的问题;

修复几处内存泄漏的问题;

修复语句执行成功,但是日志打印失败的问题;

修复加载json数据,对于Null,解析失败的问题;

修复mod函数除0的问题;

运维工具
随着2.0版本一起发布的,还有CirroData Enterprise Administrator V3.0(以下简称CEA)以及CirroData Health Monitoring and DeepO&M(以下简称CMDO)。CEA是东方国信自主研发的运维部署工具,可以支持对集群的一键部署、一键启停、在线滚动升级、扩缩容等功能。

CMDO是东方国信自主研发的健康监控与深度运维管理系统,可以检测服务器、集群等各种指标,能够实现对集群运行状态的监控,更有效的发现和优化问题;

2.0版测试
我们在TPC-H 1TB的数据集上对1.0版本和2.0版本进行了对比测试,测试环境包括10个节点,其中3个Master Node和7个Segment Node。服务器配置为Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10GHz,拥有8核心和32处理器,内存256G。测试结果显示,相比1.0版本,查询性能平均提升了5倍!

总结CirroData for MySQL已经成功落地于金融、电信、互联网、工业等多个领域,并且一直在紧密关注客户的需求和痛点,不断深化和优化产品。我们将继续保持创新,与客户一同迎接数字化时代挑战,为各行各业提供更出色的解决方案。

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论