同一文档多次导入Elasticsearch时如何保持相同_id？

核心思路 #

不要依赖Elasticsearch自动生成_id，而是基于文档本身的唯一标识字段或核心内容哈希值生成固定_id，这样相同内容的文档每次导入都会使用同一个_id，ES会自动执行更新操作而非新增，从根源避免重复存储。

具体实现方法 #

1. 用业务唯一字段直接作为_id #

如果每份文档有业务层面的唯一标识（比如doc_code、document_sn这类不会重复的字段），直接把该字段的值设为_id：

• 导入请求示例：

PUT /your_index/_doc/DOC001
{
  "doc_code": "DOC001",
  "content": "文档核心内容..."
}

后续导入相同doc_code的文档时，ES会自动覆盖原有条目，不会产生重复。

2. 基于文档核心内容生成哈希_id #

如果文档没有现成的业务唯一标识，可对文档核心内容（或关键字段组合）计算哈希值作为_id：

• 示例Python逻辑：

import hashlib
import json

def get_fixed_doc_id(doc):
    # 只保留核心内容，排除可能变动的临时字段
    core_fields = {k: v for k, v in doc.items() if k not in ["import_time", "temp_tag"]}
    # 固定JSON键顺序，避免键顺序不同导致哈希差异
    sorted_content = json.dumps(core_fields, sort_keys=True).encode('utf-8')
    # 用MD5生成短哈希（冲突概率极低）
    return hashlib.md5(sorted_content).hexdigest()

# 生成id后导入ES
target_doc = {"content": "这是一份测试文档"}
fixed_id = get_fixed_doc_id(target_doc)
# 发送PUT请求：/your_index/_doc/{fixed_id}

这种方式能保证内容完全一致的文档生成相同_id，彻底杜绝重复。

3. 批量导入用upsert逻辑 #

批量导入场景下，可结合upsert实现"不存在则新增，存在则更新"：

• 批量请求示例：

POST /your_index/_bulk
{"update": {"_id": "生成的固定id1"}}
{"doc": {"content": "文档内容1"}, "doc_as_upsert": true}
{"update": {"_id": "生成的固定id2"}}
{"doc": {"content": "文档内容2"}, "doc_as_upsert": true}

doc_as_upsert: true会自动判断文档是否存在，无需额外判断逻辑。

注意事项 #

• 生成_id的逻辑要稳定：如果用字段组合，不要包含导入时间、临时标记这类易变字段；用哈希时必须固定JSON键的排序。
• 哈希算法优先选MD5（长度短，冲突概率可忽略）或SHA-256，避免用弱哈希算法。

内容的提问来源于stack exchange，提问作者omnes_flumina