Elasticsearch按source过滤嵌套数组文档的查询问题求助

你的查询之所以返回所有记录，主要是两个关键错误导致的，我帮你逐一梳理并给出解决办法：

错误点分析 #

1. Nested查询路径错误：你在nested查询里指定的path是address，但你的数组字段明明是data，这相当于查询了一个不存在的字段，自然不会对结果产生任何过滤效果。
2. 字段映射与查询逻辑不匹配：你的data字段在mapping里是普通的object类型（而非nested），如果只是要过滤整个文档（判断文档中是否存在符合条件的data元素），其实不需要用nested查询。

解决方案分两种场景 #

场景1：仅过滤整个文档（保留/排除包含特定source的文档） #

如果你的需求是：只要文档中存在任意一个data.source等于目标值，就保留/排除整个文档，不需要修改现有mapping，直接用普通的布尔查询即可：

示例：排除所有包含abc.com的文档

{
  "query": {
    "bool": {
      "must_not": [
        {
          // 如果要精确匹配（完全等于abc.com），建议用keyword字段
          "term": {
            "data.source.keyword": "abc.com"
          }
          // 如果是模糊匹配（包含abc.com的字符串），用match
          // "match": {
          //   "data.source": "abc.com"
          // }
        }
      ]
    }
  }
}

如果要只保留包含abc.com的文档，把must_not改成must即可。

场景2：返回文档时只保留符合条件的data元素 #

如果你的需求是：返回整个文档，但只显示source不等于abc.com的data子元素，这时候需要先修改mapping，把data设为nested类型（因为普通object类型会把数组扁平化，无法单独过滤数组元素）：

第一步：修改mapping

{
  "mappings": {
    "_document_name_": {
      "properties": {
        "data": {
          "type": "nested", // 改为nested类型
          "properties": {
            "source": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            },
            "value": {
              "type": "text",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        }
      }
    }
  }
}

第二步：使用nested查询+inner_hits返回符合条件的元素

{
  "query": {
    "nested": {
      "path": "data",
      "query": {
        "bool": {
          "must_not": [
            {
              "term": {
                "data.source.keyword": "abc.com"
              }
            }
          ]
        },
        "inner_hits": {} // 仅返回符合条件的data子元素
      }
    }
  }
}

内容的提问来源于stack exchange，提问作者SalGorithm