如何在Elasticsearch多周度索引中按id查找重复文档？

问题原因 #

你使用的terms聚合默认会在每个分片上先统计Top N的myKey，再合并全局结果。当shard_size过低时，跨分片的重复myKey可能在单个分片里的计数不足以进入Top N，导致全局统计的文档总数不准确——这就是为什么你看到sum_other_doc_count数值极大，且buckets为空，同时min_doc_count=2没起到预期过滤作用的原因。

可行解决方案 #

方案1：使用Composite聚合（ES 7.10+适用） #

Composite聚合支持分页遍历所有可能的myKey桶，不会因为分片级别的Top N限制丢失数据，不需要调高shard_size。

查询示例：

GET myindex-*/_search
{
  "size": 0,
  "aggs": {
    "duplicate_keys": {
      "composite": {
        "size": 1000,
        "sources": [
          { "myKey": { "terms": { "field": "myKey" } } }
        ]
      },
      "aggs": {
        "total_docs": { "value_count": { "field": "_id" } },
        "duplicate_docs": { "top_hits": { "size": 5 } }
      }
    }
  }
}

• 执行后，若返回结果中有after_key，则携带该参数继续查询，直到after_key为空，遍历所有桶。
• 最终筛选出total_docs >= 2的桶，对应的duplicate_docs就是重复的文档。

方案2：脚本遍历所有文档（无ES版本限制，资源友好） #

通过Scroll或Search After API遍历所有文档，在本地统计myKey的出现次数，再筛选重复项，完全避开ES聚合的分片限制。

Python示例（依赖elasticsearch库）：

from elasticsearch import Elasticsearch

# 初始化ES客户端
es = Elasticsearch(["http://your-es-host:9200"])

# 启动Scroll遍历
scroll_response = es.search(
    index="myindex-*",
    scroll="5m",
    size=1000,
    _source=["myKey"]
)

scroll_id = scroll_response["_scroll_id"]
key_count = {}

# 批量遍历文档
while len(scroll_response["hits"]["hits"]) > 0:
    for doc in scroll_response["hits"]["hits"]:
        current_key = doc["_source"]["myKey"]
        key_count[current_key] = key_count.get(current_key, 0) + 1
    # 获取下一批文档
    scroll_response = es.scroll(scroll_id=scroll_id, scroll="5m")

# 筛选出重复的myKey
duplicate_keys = [k for k, v in key_count.items() if v >= 2]

# 可选：根据重复key查询完整文档
if duplicate_keys:
    result = es.search(
        index="myindex-*",
        query={"terms": {"myKey": duplicate_keys}},
        size=1000,
        _source=["myKey", "需要的其他字段"]
    )
    print("重复文档列表：", result["hits"]["hits"])

方案3：有限优化Terms聚合（仅适合资源允许的场景） #

如果能小幅调高shard_size，可以尝试设置shard_size为size的2-5倍，同时开启误差显示排查：

GET myindex-*/_search
{
  "stored_fields": ["myKey"],
  "size": 100,
  "aggs": {
    "duplicateNames": {
      "terms": {
        "field": "myKey",
        "min_doc_count": 2,
        "shard_size": 500,
        "show_term_doc_count_error": true
      },
      "aggs": {
        "duplicateDocuments": {
          "top_hits": {}
        }
      }
    }
  }
}

但此方案受限于ES资源，若sum_other_doc_count仍很高，结果依然不准确。

内容的提问来源于stack exchange，提问作者ByeBye