openGauss - 向量化执行引擎算子HashAgg解读
对于分组聚合来说,可以通过排序将待排序值按照大小排列起来,相同的值就紧密连在一起,然后依次遍历,遇到不相同的值就得到一个分组。另一种方式是通过Hash来完成,将所有值都构建到hash表中,同一个桶的值即为一个分组(hash冲突的场景忽略)。openGauss的向量化执行引擎如何通过Hash来实现聚合?
1、HashAggRunner类
HashAggRunner类是Hash Agg执行的对象,主要成员及其关系如下图所示:
1)m_hashVal[]:数组大小是batch大小,存储着batch每行hash列的hash值:
2)Hash表由m_hashData管理,hash表数据都在内存则总是使用m_hashData[0],由两个成员组成:tbl_size为hash表大小,tbl_data为hash表
3)tbl_data[]为hash表,hash表存储hashCell*指针。也就是每个分组的值放到这里。Hash表的大小就是分组数:
该分组数是根据work_mem和以及统计信息估算出来的。
4)m_cacheLoc[]数组存储每行记录的hash桶号,计算方法:m_hashVal[i] & (m_hashSize - 1)。可以看到,不同值肯定会存在放在同一个桶的情况。
5)m_Loc[]数组存放hashCell,而hashCell则表示每个分组值,当发生hash冲突时,以链表的形式挂载同一个桶上。
6)HashAgg分组聚合的计算方式:这里忽略hash冲突的场景
比如有一列值:
依次:第一行1hash后放到桶1,然后将1的cell放到m_Loc[0];2放到m_Loc[1];1hash到桶1,使用桶1的cell,将其放到m_Loc[2];3放到m_Loc[3];2的cell存放到m_Loc[4]。那么m_Loc[]数组依次存储的cell为:
这样将m_Loc[]数组带入向量化计算函数中,对其进行聚合,比如count:
for( i < nrows ){
m_Loc[i].cell++;
}
2、流程
1)HashAggRunner::Run函数是向量化HashAgg操作入口函数,Build函数用于构建hash表并进行聚合;Probe函数用于构建聚合输出结果
2)构建hash表的具体函数为HashAggRunner::buildAggTbl,对于hash冲突的值以链表的形式挂载同一个桶上,总是向链表头插入;构建的过程中进行分组聚合时,需要进一步调用函数match_key在链表上进行匹配
3)HashAggRunner::Probe函数用于将cell值即hash表中的值构建到输出结果batch中,中间若有QUAL条件,则需要过滤后投影输出。