Elasticsearch 7.10搜索时如何通过黑名单排除指定字段不参与检索

核心需求：不枚举全量字段做白名单，仅指定需要排除的黑名单字段，其余字段默认参与搜索。以下两种方案均满足要求，可根据实际场景选择：

方案1：索引层预配置全量搜索字段（生产环境推荐，性能最优） #

• 实现逻辑：利用ES原生copy_to参数，提前把所有允许参与搜索的字段值自动同步到一个专用的聚合搜索字段（比如命名为search_all），黑名单字段不配置同步规则，后续查询直接检索这个专用字段即可，完全不需要在查询阶段枚举字段。
• 索引映射配置示例（对应你给出的_dev索引）：

PUT /_dev
{
  "mappings": {
    "properties": {
      "type": { "type": "text", "copy_to": "search_all" },
      "id_number": { "type": "long" },
      "company_group_name": { "type": "text", "copy_to": "search_all" },
      "company_group_id": { "type": "integer" },
      "document_title": { "type": "text", "copy_to": "search_all" },
      "effective_date": { "type": "date" },
      "Service_Sold": {
        "properties": {
          "Type": { "type": "text", "copy_to": "search_all" },
          "Product_Name": { "type": "text" } // 黑名单字段，不配置copy_to，不会进入搜索池
        }
      },
      "search_all": { "type": "text" } // 专用全量搜索字段
    }
  }
}

• 查询写法：直接对search_all做匹配即可，自动跳过所有黑名单字段

GET /_dev/_search
{
  "query": {
    "match": {
      "search_all": "Product ABC"
    }
  }
}

注意：如果是已存在的存量索引，配置完映射后需要调用_reindex接口重导历史数据，让copy_to规则对旧数据生效。后续新增字段时，只要给允许搜索的字段加上copy_to: "search_all"配置即可，维护成本远低于白名单模式。

方案2：查询阶段动态排除（无需修改索引，适合灵活调整的临时场景） #

• 实现逻辑：查询时用通配符匹配所有字段，再通过bool查询的must_not逻辑排除黑名单字段的匹配结果，不需要提前改索引配置，只需要在查询里列出要排除的黑名单字段即可。
• 查询示例（对应排除Service_Sold.Product_Name的场景）：

GET /_dev/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "multi_match": {
            "query": "Product ABC",
            "fields": ["*"], // 匹配索引内所有字段
            "lenient": true // 自动忽略数值、日期等非文本字段的类型匹配报错
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "Service_Sold.Product_Name": "Product ABC" // 排除黑名单字段的命中
          }
        }
      ]
    }
  }
}

• 优缺点说明：
  • 优势：零索引改造，不需要重导数据，黑名单可随查询需求动态调整
  • 劣势：查询性能弱于方案1，字段数量极多时扫描开销大；逻辑上会过滤掉「仅在黑名单字段命中关键词」的文档，「非黑名单字段+黑名单字段同时命中」的文档会正常召回，完全匹配需求。

效果验证 #

用你提供的示例文档测试：

• 文档中document_title和Service_Sold.Product_Name都包含关键词Product ABC，两种方案都会正常召回该文档
• 如果存在仅Service_Sold.Product_Name包含Product ABC、其余字段无匹配的文档，两种方案都不会召回该文档，符合黑名单字段不参与搜索匹配的要求。

内容的提问来源于stack exchange，提问作者Rathan Kumar