openGauss - 向量化执行引擎算子HashAgg解读

openGauss - 向量化执行引擎算子HashAgg解读

对于分组聚合来说,可以通过排序将待排序值按照大小排列起来,相同的值就紧密连在一起,然后依次遍历,遇到不相同的值就得到一个分组。另一种方式是通过Hash来完成,将所有值都构建到hash表中,同一个桶的值即为一个分组(hash冲突的场景忽略)。openGauss的向量化执行引擎如何通过Hash来实现聚合?

1、HashAggRunner类

HashAggRunner类是Hash Agg执行的对象,主要成员及其关系如下图所示:

openGauss - 向量化执行引擎算子HashAgg解读-1

1)m_hashVal[]:数组大小是batch大小,存储着batch每行hash列的hash值:

openGauss - 向量化执行引擎算子HashAgg解读-2

2)Hash表由m_hashData管理,hash表数据都在内存则总是使用m_hashData[0],由两个成员组成:tbl_size为hash表大小,tbl_data为hash表

3)tbl_data[]为hash表,hash表存储hashCell*指针。也就是每个分组的值放到这里。Hash表的大小就是分组数:

openGauss - 向量化执行引擎算子HashAgg解读-3

该分组数是根据work_mem和以及统计信息估算出来的。

4)m_cacheLoc[]数组存储每行记录的hash桶号,计算方法:m_hashVal[i] & (m_hashSize - 1)。可以看到,不同值肯定会存在放在同一个桶的情况。

5)m_Loc[]数组存放hashCell,而hashCell则表示每个分组值,当发生hash冲突时,以链表的形式挂载同一个桶上。

6)HashAgg分组聚合的计算方式:这里忽略hash冲突的场景

比如有一列值:

openGauss - 向量化执行引擎算子HashAgg解读-4

依次:第一行1hash后放到桶1,然后将1的cell放到m_Loc[0];2放到m_Loc[1];1hash到桶1,使用桶1的cell,将其放到m_Loc[2];3放到m_Loc[3];2的cell存放到m_Loc[4]。那么m_Loc[]数组依次存储的cell为:

openGauss - 向量化执行引擎算子HashAgg解读-5

这样将m_Loc[]数组带入向量化计算函数中,对其进行聚合,比如count:

    for( i < nrows ){
    m_Loc[i].cell++;
    }