greenplum 底层 mysql_分布式数据库greenplum详解

2023年 8月 12日 40.4k 0

前言

在数据库诞生到现在,我们所能耳熟能详的数据库如oracle,mysql,sqlserver等,都属于关系型数据库,它们主要是基本的、日常的事务处理,记录即时的增、删、改、查,实时性要求很高,但数据量不会很大,不会做很多复杂的逻辑,这一类归于OLTP(联机事务处理)型数据库,而分布式数据库是对海量的数据进行管理,解决的是海量的数据处理及分析能力,更多的是对数据进行读的操作,增、删、改是比较低频的操作,它对实时性要求不高,更强调的是数据的分析处理能力,属于OLAP(联机分析处理)型数据库。

以下是OLAP和OLTP的比较:

OLTP

OLAP

适用场景

主要供基层人员使用,进行一线业务操作

探索并挖掘数据价值,作为企业高层进行决策的参考

数据特点

当前的、新的、细节的, 二维的、分立的

历史的, 聚集的, 多维的,集成的, 统一的

存取能力

可以读/写数十条记录

读上百万条记录

复杂度

简单的事务

复杂任务

可承载用户

可承载用户数量为上千个

上百万个

DB大小

大小为100GB

可以达到100TB

时效性

实时

时间的要求不严格

greenplum属于OLAP型的一种分布式的关系型数据库,应用于数据仓库,它的底层是基于开源的关系型数据库postgresql进行开发完成的,postgresql拥有丰富的数据类型,强容错能力及存储结构等优点,因而也一跃而上,成为目前主流的数据库之一,由于greenplum底层是postgresql的原因,因此greenplum也继承了postgresql的这些优点,并且两者之间进行数据迁移可以做到完全兼容,避免进行数据转换。

postgresql排名图:

结构

主从结构

greenplum采用一主(Master)多从(Segment)的结构,Master负责查询解析、优化及任务分发,Segment负责查询处理、数据存储,双方通过Interconnect通信,总体架构如下:

master节点:

是整个系统的控制中心和对外的服务接入点,它负责接收用户SQL请求,将SQL生成查询计划并进行并行处理优化,然后将查询计划分配(dispatch)到所有的Segment节点进行并行处理,协调组织各个Segment节点按照查询计划一步一步地进行并行处理,后获取到Segment的计算结果,再返回给客户端;从用户的角度看Greenplum集群,看到的只是Master节点,无需关心集群内部的机制,所有的并行处理都是在Master控制下自动完成的。Master节点一般只有一个或两个(互为备份),主备方案实现高可用;

segment节点:

是Greenplum执行并行任务的并行运算节点,它接收Master的指令进行MPP并行计算,因此所有Segment节点的计算性能总和就是整个集群的性能,通过增加Segment节点,可以线性化得增加集群的处理性能和存储容量,Segment节点可以是1~10000个节点,它的数量决定greenplum的算力,可通过横向扩容提升整个数据库的算力及性能;

Interconnect:

是Master节点与Segment节点、Segment节点与Segment节点之间的数据传输组件,它基于千兆交换机或万兆交换机实现数据在节点间的高速传输;

无共享/MPP架构

Greenplum数据库软件将数据平均分布到系统的所有节点服务器上,所以节点存储每张表或表分区的部分行,所有数据加载和查询都是自动在各个节点服务器上并行运行,并且该架构支持扩展到上万个节点,做到数据完全的物理隔离。

Greenplum的架构采用了MPP(大规模并行处理),在 MPP 系统中,每个 SMP节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。

SMP(SymmetricMulti-Processing),对称多处理结构的简称,是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存子系统以及总线结构。在这种技术的支持下,一个服务器系统可以同时运行多个处理器,并共享内存和其他的主机资源。传统的ORACLE和DB2均是此种类型,ORACLE RAC 是半共享状态;

与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是的,因为 MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。

特性

greenplum是用于海量存储数据进行计算与分析的,它做数据分析跟计算时,往往所做的大量查询都是全表检索的模式进行的,是不建议添加索引的,而是用它分区、分布键的特性结合多个segment的并行将算力达到大化。

分区

分区是对存储的数据进行逻辑划分,通过 "partition by" 子句完成的,它允许将一个大表划分为多个子表。"subpartition by" 子句可以将子表划分为更小的表 。从理论上讲,Greenplum对于根表(root table)可以拥有多少级(level)或多少个分区表(partitioned table)并没有限制,但是对于任一级分区(表的层次结构级别),一个分区表多可以有32,767个子分区表。

以时间为例,一个table表可以按字段month(月份)分区成table_01,table_02,... table_11,table_12,但都是在一个segment上。

分布键

与分区不同,分布键是进行物理划分,它是分布在不同的segment上,以指定的分布键字段或字段组合进行哈希/随机的策略分布,散布到不同的segment上,将数据平均分布到每一个节点机器上,为了避免数据倾斜导致算力不均,建议使用哈希策略进行分布,创建表使用 “distributed by(column,[…])” 子句。

同样以时间为例,t_test表中'2020-01-01'的数据散布在segment1的t_test_01表上,'2020-01-02'的数据散布在segment2的t_test_02表上 ...

create tablet_test

(

idint,month varchar(10),

namevarchar(64)

)distributed by (month)

partitionby range(month)

(

partition01 start ('2020-01-01') inclusive end ('2020-01-31') inclusive,

partition02 start ('2020-02-01') inclusive end ('2020-02-31') inclusive,

partition03 start ('2020-03-01') inclusive end ('2020-03-31') inclusive,

partition04 start ('2020-04-01') inclusive end ('2020-04-31') inclusive,

partition05 start ('2020-05-01') inclusive end ('2020-05-31') inclusive,

partition06 start ('2020-06-01') inclusive end ('2020-06-31') inclusive,

partition07 start ('2020-07-01') inclusive end ('2020-07-31') inclusive,

partition08 start ('2020-08-01') inclusive end ('2020-08-31') inclusive,

partition09 start ('2020-09-01') inclusive end ('2020-09-31') inclusive,

partition10 start ('2020-10-01') inclusive end ('2020-10-31') inclusive,

partition11 start ('2020-11-01') inclusive end ('2020-11-31') inclusive,default partition 12);

存储和执行

Master和Segment都是一个单独的PostgreSQL数据库。每一个都有自己单独的一套元数据字典。

Master节点一般也叫主节点,Segment叫做数据节点。

为了实现高可用,每个Segment都有对应的备节点 Mirror Segment分别存在与不同的机器上。

Client一般只能与Master节点进行交互,Client将SQL发给Master,然后Master对SQL进行分析后再将其分配给所有的Segment进行操作。

Greenplum没有Windows版本,只能安装在类UNIX的操作系统上。

Greenplumn极度消耗I/O资源,所以对存储的要求比较高。————————————————版权声明:本文为CSDN博主「火星天文學家」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/weixin_31002061/article/details/113514996

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论