openGauss – 向量化执行引擎算子HashAgg解读

2024年 7月 8日 88.9k 0

openGauss - 向量化执行引擎算子HashAgg解读

对于分组聚合来说,可以通过排序将待排序值按照大小排列起来,相同的值就紧密连在一起,然后依次遍历,遇到不相同的值就得到一个分组。另一种方式是通过Hash来完成,将所有值都构建到hash表中,同一个桶的值即为一个分组(hash冲突的场景忽略)。openGauss的向量化执行引擎如何通过Hash来实现聚合?

1、HashAggRunner类

HashAggRunner类是Hash Agg执行的对象,主要成员及其关系如下图所示:

openGauss - 向量化执行引擎算子HashAgg解读-1

1)m_hashVal[]:数组大小是batch大小,存储着batch每行hash列的hash值:

openGauss - 向量化执行引擎算子HashAgg解读-2

2)Hash表由m_hashData管理,hash表数据都在内存则总是使用m_hashData[0],由两个成员组成:tbl_size为hash表大小,tbl_data为hash表

3)tbl_data[]为hash表,hash表存储hashCell*指针。也就是每个分组的值放到这里。Hash表的大小就是分组数:

openGauss - 向量化执行引擎算子HashAgg解读-3

该分组数是根据work_mem和以及统计信息估算出来的。

4)m_cacheLoc[]数组存储每行记录的hash桶号,计算方法:m_hashVal[i] & (m_hashSize - 1)。可以看到,不同值肯定会存在放在同一个桶的情况。

5)m_Loc[]数组存放hashCell,而hashCell则表示每个分组值,当发生hash冲突时,以链表的形式挂载同一个桶上。

6)HashAgg分组聚合的计算方式:这里忽略hash冲突的场景

比如有一列值:

openGauss - 向量化执行引擎算子HashAgg解读-4

依次:第一行1hash后放到桶1,然后将1的cell放到m_Loc[0];2放到m_Loc[1];1hash到桶1,使用桶1的cell,将其放到m_Loc[2];3放到m_Loc[3];2的cell存放到m_Loc[4]。那么m_Loc[]数组依次存储的cell为:

openGauss - 向量化执行引擎算子HashAgg解读-5

这样将m_Loc[]数组带入向量化计算函数中,对其进行聚合,比如count:

    for( i < nrows ){
    m_Loc[i].cell++;
    }

    2、流程

    openGauss - 向量化执行引擎算子HashAgg解读-6

    1)HashAggRunner::Run函数是向量化HashAgg操作入口函数,Build函数用于构建hash表并进行聚合;Probe函数用于构建聚合输出结果

    2)构建hash表的具体函数为HashAggRunner::buildAggTbl,对于hash冲突的值以链表的形式挂载同一个桶上,总是向链表头插入;构建的过程中进行分组聚合时,需要进一步调用函数match_key在链表上进行匹配

    3)HashAggRunner::Probe函数用于将cell值即hash表中的值构建到输出结果batch中,中间若有QUAL条件,则需要过滤后投影输出。

    相关文章

    Oracle如何使用授予和撤销权限的语法和示例
    Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
    下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
    社区版oceanbase安装
    Oracle 导出CSV工具-sqluldr2
    ETL数据集成丨快速将MySQL数据迁移至Doris数据库

    发布评论