Elasticsearch如何基于关联filekey匹配word值实现多层级记录筛选

结论 #

该需求完全可以在Elasticsearch中实现，针对百万级数据量的生产环境也有成熟的高性能实现方案。

前置条件 #

确保索引中filekey字段、word字段为keyword类型（或存在keyword类型的子字段），用于精确匹配。

推荐实现方式：基于Terms Lookup的单查询方案 #

Elasticsearch提供的terms查询支持跨查询关联匹配，可以一步完成两层筛选逻辑，无需分次调用接口，性能最优。

最终需求（两层筛选后结果）的查询DSL示例： #

GET 你的索引名/_search
{
  "query": {
    "bool": {
      "filter": [
        // 第二层筛选：匹配word为salomon的记录
        {
          "term": {
            "word.keyword": "salomon"
          }
        },
        // 第一层筛选：仅保留包含testament的filekey对应的记录
        {
          "terms": {
            "filekey": {
              "index": "你的索引名",
              "path": "filekey",
              "query": {
                "term": {
                  "word.keyword": "testament"
                }
              }
            }
          }
        }
      ]
    }
  }
}

单独获取第一层筛选结果的DSL示例： #

如果需要先拿到所有含testament的filekey对应的全部记录，只需去掉第二层的word匹配规则即可：

GET 你的索引名/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "terms": {
            "filekey": {
              "index": "你的索引名",
              "path": "filekey",
              "query": {
                "term": {
                  "word.keyword": "testament"
                }
              }
            }
          }
        }
      ]
    }
  }
}

性能说明 #

• 百万级数据场景下，只要为filekey和word的keyword字段建立正确索引，上述查询的响应延迟可稳定在毫秒级，完全满足生产环境使用要求。
• 如果是高频查询场景，也可以提前将数据按filekey聚合为嵌套文档结构，将同一filekey下的所有word、page存入同一个文档的nested字段中，查询效率会进一步提升。

内容的提问来源于stack exchange，提问作者lino alejandro