openGauss向量化执行引擎中分组聚合有两种实现方式:排序和hash。本文介绍排序实现机制下的distinct分组聚合如何实现。分组聚合也分为两种使用方式:普通group by和grouping sets等分组集,其中普通group by就是每次查询生成一个分组的聚合;而grouping sets、cube或者rollup分组集就是每次查询生成不同级别或者多个维度的聚合,详见:
下面我们看下openGauss向量化执行引擎中对这些分组聚合如何实现distinct。
1、分组聚合中怎么区分distinct?
通过m_hashDistinct来标记是否有distinct聚合,可以看到多个聚合中,只要有一个是distinct聚合就标记为true。标记m_hashDistinct的条件为per_agg_state->numDistinctCols > 0,即聚合的distinct列数大于0。
openGauss支持以下聚合语法:以count为例:
1)count(distinct id1)
2)count(id1 order by id1)
这两种方式都用到了排序,初始化时:distinct和order by都会产生排序列,distinct时排序列和distinct列相同;仅order by时,distinct列为0,仅排序列。
再进一步,若distinct聚合则初始化等值比较操作符函数数组equalfns[],数组大小为distinct列数,该函数用于排序后的distinct比较:
由于多个聚合中,只要有一个聚合就会标记m_hashDistinct为true,比如当聚合是下面的样子:select count(distinct id1),count(id2) from t group by id1,id2时,第2个count即不是distinct也不是order by,那么流程中通过m_hashDistinct进入distinct处理分支后,又是怎么分辩出第二个count是普通聚合呢?
这里可以通过peraggstate->eqaulfns来判断,因为仅在distinct时才会分配该函数,否则为NULL,以此可作为是否进入distinct处理流程:
peragg_stat->numSortCols > 0 && &peragg_stat->equalfns[0]!=NULL作为distinct聚合的判断条件。
1)当然需要注意order by的场景与distinct聚合的区别,比如count(id1 order by id1):首先进行排序,然后从排序结果中取出一批值;因为仅order by所以equalfns为NULL,所以直接进入聚合步骤AggregationOnScalar。然后,从排序结果中取下一批值进行同样处理,直到排序的结果处理完毕。
2)若多个count中,非distinct和非order by的聚合,因为他们的peragg_stat->numSortCols为0,则不用进入该排序并聚合流程。它的聚合走另外分支:
2、原理
1)通过CStoreScan算子从磁盘上加载一批数据到内存,并通过VecSort向量化算子进行排序
2)从排好序的数据中(要么都在内存,要么溢出到磁盘)拿一批数据batch进行聚合操作
3)先将batch存储到m_batchSortIn中用于后续阶段的聚合:因为后续阶段也需要在有序的基础上进行分组聚合,所以m_batchSortIn用于后续阶段的排序
4)计算当前阶段的分组值
5)针对上面的分组值对distinct或order by列进行投影,并将他放到m_sortDistinct[]。Batchsortstate中,进行排序
6)从上面排好序的batchsortstate中取出一个batch,若时distinct则进行去重后再进行聚合,若为order by则直接进行聚合
7)然后对当前阶段的下组Group Key进行5)、6)操作。组号为curr_set
8)当前阶段计算完后,切换阶段进入下一个阶段聚合计算
9)下一个阶段计算前,需要先对m_batchSortIn排序,然后进行4)、5)、6)7)操作,直到所有阶段的聚合都计算完。
简单来说,distinct聚合计算就是根据distinct列,对其进行排序,然后进行比较从而去重,最后对去重后的值进行聚合计算。