用go构建个简单的搜索（八） 通过BM25构建简单关键词搜索

上篇： 用go构建个简单的搜索（七） BM25打分

流程概述

graph TD
A(加载文档) --> b[切词]
b[切词]     --> c[统计文档和词频关系]

d[BM25关键词打分] --> e[打分排序]
f[关键词查询]

当前处理点和遇到的问题

• demo是用map处理的，map好处是可以用到k-v数据库作为持久化
• go的map根据value排序 map[int]float32=》文档：得分
• go中map的v是结构体数据修改

困惑的地方

• 文档是不停增长的，但是BM25打分依赖文档总数和至少出现一次的关键词总数 该如何处理比较好点
• 如何定义一个父类的结构体，实现自定义的子结构体数据处理

测试效果

代码demo

type docWord struct {
    word_s     string          //关键词
    word_tf    map[int]int     //文档中的词频 key文档编号
    word_score map[int]float32 //文档中得分   key文档编号
    score_sort []scoreSort     //得分排序
}

//得分排序
type scoreSort struct {
    id    int
    score float32
}
func TestBM26(t *testing.T) {
        //测试每行作为一个文档
    str, isTrue := loadFileByLine("D:/开发语言/文章/小说/活着2.txt")
    if isTrue {
        avgLen := getAVG(str)                      //得到文档平均长度
        var docWordArry = make(map[string]docWord) //切词对应的数据文档
        //单词 文档 打分
        for i, s := range str {
            wordTF := getSplicWordTF(s)//切词
            //至少出现一次文档数 得到词频
            for word := range wordTF {
                _, ok := docWordArry[word]
                if ok {
                    docWordArry[word].word_tf[i]++
                } else {
                    docWordArry[word] = docWord{
                        word_s:     word,
                        word_tf:    make(map[int]int),
                        word_score: make(map[int]float32),
                        score_sort: make([]scoreSort, 0),
                    }
                    docWordArry[word].word_tf[i] = 1
                }
            }
        }

        for w := range docWordArry {
            dw := docWordArry[w]
            for index := range dw.word_tf {
                //打分
                dw.word_score[index] = BM25(float32(dw.word_tf[index]), float32(len([]rune(str[index]))), avgLen, float32(len(str)), float32(len(dw.word_tf)))
                dw.score_sort = append(dw.score_sort, scoreSort{index, dw.word_score[index]})
            }
            // if "福贵" == w {
                        //得分排序
            sort.Slice(dw.score_sort, func(i, j int) bool {
                return dw.score_sort[i].score > dw.score_sort[j].score // 降序
            })
            // }
            docWordArry[w] = dw //这里有个map修改值得问题
        }

        search := docWordArry["福贵"]
        for _, index := range search.score_sort {
            fmt.Printf("%sn文档ID：%d,词：%s,打分：%fn", str[index.id], index.id, search.word_s, search.word_score[index.id])
        }
    }
}