巧记Elasticsearch常用DSL语法

2023年 10月 30日 60.6k 0

记知识先记轮廓,关于DSL语法的轮廓,记住以下三句话即可:

  • 索引、文档和查询
  • Match、Term和Bool
  • 还有翻页和聚合

一、又爱又恨的DSL

使用Elasticsearch时,我们一般是调用RestClient API的方式读取和写入集群数据。有时也会使用工具查阅和操作数据,比如:使用Chrome插件Multi Elasticsearch Head或者Cerebro、Kibana。笔者建议使用Kibana的方式操作集群数据,使用Multi Elasticsearch Head或者Cerebro从整体上观察集群。

既然是操作集群数据,那就绕不开ES的DSL语法 — 一个让人又爱又恨的语法。

  • 爱:Http Restful风格设计的,使用上简单,随手撸起一个工具都支持Http访问。
  • 恨:语法太难记,语法格式在设计上有点反人类,真不知道设计者们是怎么想的。不过你觉得有更好的方案吗?

本文整理了一些常用DSL语法,方便记忆,分了如下几类:操作索引、操作文档、Match查询、Term查询、查看分词。如果碰到复杂查询还是建议查阅官网。

二、操作数据

在Kibana上操作ES数据的方式如下:

1.操作索引

(1) 创建索引:

PUT /goods
{
  "mappings": {
    "properties": {
      "brandName": {
        "type": "keyword"
      },
      "categoryName": {
        "type": "keyword"
      },
      "createTime": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss"
      },
      "id": {
        "type": "keyword"
      },
      "price": {
        "type": "double"
      },
      "saleNum": {
        "type": "integer"
      },
      "status": {
        "type": "integer"
      },
      "stock": {
        "type": "integer"
      },
      "title": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  },
  # 根据情况选择是否要修改
  "settings": {
    "number_of_shards": 2,
    "number_of_replicas": 2
  }
}

(2) 删除索引:

DELETE goods

(3) 重建索引

有些场景下需要重建索引,比如修改了Mapping,重建步骤如下:

POST _reindex                    
{
  "source": {
    "index": "goods"
  },
  "dest": {
    "index": "goods1"
  }
}

DELETE goods

POST _reindex                    
{
  "source": {
    "index": "goods1"
  },
  "dest": {
    "index": "goods"
  }
}

DELETE goods1

2.操作文档

(1) 创建文档

# 这种方式,同样的id无法重新创建
PUT goods/_create/1
{
  "id": 1,
  "brandName": "Apple",
  "categoryName": "手机",
  "createTime": "2023-10-22 19:12:56",
  "price": 8799,
  "saleNum": 599,
  "status": 0,
  "stock": 1000,
  "title": "Apple iPhone 15 Pro 512GB 远峰蓝色 支持移动联通电信5G 双卡双待手机"
}
# 这种方式,同样的id会覆盖原有的
PUT goods/_doc/2
{
  "id": 2,
  "brandName": "Apple",
  "categoryName": "手机",
  "createTime": "2023-10-22 19:12:56",
  "price": 8799,
  "saleNum": 599,
  "status": 0,
  "stock": 1000,
  "title": "Apple iPhone 15 Pro 256GB 远峰蓝色 支持移动联通电信5G 双卡双待手机"
}

(2) 更新文档

POST goods/_update/1
{
  "doc": {
    "title":"Apple iPhone 13 Pro (A2639) 256GB 远峰蓝色 支持移动联通电信5G 双卡双待手机111"
  }
}

(3) 删除文档

DELETE goods/_doc/2

(4) 获取文档

# 获取单个文档
GET goods/_doc/1

# 批量获取
GET books/_doc/_mget
{
  "ids": ["1","2"]
}

2.Match查询

Match查询会对查询内容做分词,然后根据倒排索引去匹配文档。Term查询对查询内容不做分词,直接去倒排索引里去匹配文档。

(1) 查询所有

POST goods/_search
{
  "query": {
    "match_all": {
      
    }
  }
}

(2) match_phrase短语查询

POST goods/_search
{
  "query": {
    "match_phrase": {
      "title": "支持"
    }
  }
}

(3) 匹配查询

POST goods/_search
{
  "query": {
    "match": {
      "title": "移动多余"
    }
  }
}

(4) 模糊匹配查询

POST goods/_search
{
  "query": {
    "wildcard": {
      "title": {
        "value": "*鞋"
      }
    }
  }
}

4.Term查询

Term查询对查询内容不做分词,直接去倒排索引里去匹配文档。

POST goods/_search
{
  "query": {
    "term": {
      "title": {
        "value": "手机"
      }
    }
  }
}

# 匹配多个term
POST goods/_search
{
  "query": {
    "terms": {
      "title": [
        "双卡",
        "待"
      ]
    }
  }
}

5.组合查询

复杂查询基本会用到bool关键字。

(1) bool + must

# 布尔查询,可以组合多个过滤语句来过滤文档
POST goods/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "title": {
              "value": "Wolfgang Mauerer"
            }
          }
        },
        {
          "term": {
            "date": {
              "value": "2010-06-01"
            }
          }
        }
      ]
    }
  }
}

# 匹配多个字段
GET product/_search
{
  "query": {
    "bool": {
      "must": [
        { "match_phrase": { "name": "连衣裙" } },
        { "match_phrase": { "en_intro": "korean" } },
        { "match_phrase": { "intro": "御姐" } }
      ]
    }
  }
}

(2) bool + filter + range

POST books/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "author": {
              "value": "Wolfgang Mauerer"
            }
          }
        }
      ],
      "filter": [
        {
          "term": {
            "date": {
              "value": "2010-06-01"
            }
          }
        }
      ]
    }
  }
}


POST goods/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "title": "华为"
          }
        }
      ],
      "filter": [
        {
          "range": {
            "price": {
              "gte": 5000,
              "lte": 10000
            }
          }
        }
      ]
    }
  }
}

6.翻页查询

(1) Scroll分页

# 第一次使用 scroll API
POST goods/_search?scroll=2m
{
  "query": {
    "match_all": {}
  },
  "size": 2
}
# 进行翻页
POST /_search/scroll                                                    
{
  "scroll" : "2m",   
  "scroll_id" : "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFkxBWkYwOGw2U1dPSF94aHZTelFkaWcAAAAAAAADHhZoU05ERFl3WFIycXM3M3JKMmRQVkJB" 
}

(2) from + size分页

POST goods/_search
{
  "query": {
    "match_all": {
    
    }
  },
  "from": 6,
  "size": 2,
  "sort": [
    {
      "price": {
        "order": "asc"
      }
    }
  ]
}

7.聚合查询

(1) 最大、最小、平均

POST goods/_search
{
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    }
  }
}


POST goods/_search
{
  "aggs": {
    "min_price": {
      "min": {
        "field": "price"
      }
    }
  }
}

POST goods/_search
{
  "aggs": {
    "max_price": {
      "max": {
        "field": "price"
      }
    }
  }
}

(2) 范围查询

POST goods/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 10,
        "lte": 20
      }
    }
  }
}

(3) 高亮查询

POST goods/_search
{
  "query": {
    "match": {
      "title": "跑鞋"
    }
  },
  "highlight": {
    "fields": {
      "body": {
        "pre_tags": [
          ""
        ],
        "post_tags": [
          ""
        ]
      },
      "title": {}
    }
  }
}

(4) 分组查询

POST goods/_search
{
  "aggs": {
    "brandNameName": {
      "terms": {
        "field": "brandName"
      }
    }
  }
}

(5) 子查询

POST goods/_search
{
  "aggs": {
    "brandNameName": {
      "terms": {
        "field": "brandName"
      },
      "aggs": {
        "avgPrice": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

8.分析分词

相对一些分析进行分析时,看看ES怎么拆分的,可以用这个查看。

POST _analyze
{
  "analyzer": "standard",
  "text": "Linus 在90年代开发出了linux操作系统"
}
POST _analyze
{  
    "analyzer": "ik_max_word",
    "text": "Linus 在90年代开发出了linux操作系统"  
}
POST _analyze
{  
    "analyzer": "ik_smart",
    "text": "Linus 在90年代开发出了linux操作系统"  
}
POST _analyze
{  
    "analyzer": "ik_smart",
    "text": "中华人民共和国国歌"  
}
POST _analyze
{  
    "analyzer": "ik_max_word",
    "text": "中华人民共和国国歌"  
}

三、总结

本文主要介绍了常见DSL的用法,主要是帮助记忆,避免一些基本的操作还要去查询文档的尴尬。记住以下3句话,即可记住DSL的轮廓了:

  • 索引、文档和查询
  • Match、Term和Bool
  • 还有翻页和聚合

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论