如何在Elasticsearch中基于多字段生成复合_id并配置ingest pipeline

方案选型说明 #

你的需求不需要加密安全，优先选MD5哈希生成_id即可：输出固定32位十六进制字符，远低于Elasticsearch _id的512字符上限，存储开销比SHA256低50%，非安全场景下哈希冲突概率可忽略，完全匹配月度滚动索引的使用需求。
拼接时使用|作为分隔符，可彻底避免不同字段值组合生成相同拼接串的冲突问题。

具体Ingest Pipeline配置 #

直接用ES自带的join处理器和fingerprint处理器即可实现，无需额外插件：

PUT _ingest/pipeline/generate_composite_id
{
  "description": "基于first_name/last_name/dob/phone生成复合_id",
  "processors": [
    // 第一步：用|拼接四个业务主键字段，避免拼接冲突
    {
      "join": {
        "field": ["first_name", "last_name", "dob", "phone"],
        "separator": "|",
        "target_field": "temp_composite_key"
      }
    },
    // 第二步：对拼接结果做MD5哈希，生成固定长度_id
    {
      "fingerprint": {
        "field": "temp_composite_key",
        "target_field": "_id",
        "method": "MD5"
      }
    },
    // 第三步：删除临时字段，避免写入索引占用空间
    {
      "remove": {
        "field": "temp_composite_key",
        "ignore_missing": true
      }
    }
  ],
  // 可选：如果四个字段有缺失，直接拒绝写入，避免生成无效_id
  "on_failure": [
    {
      "fail": {
        "message": "复合主键字段缺失，无法生成_id：{{_ingest.on_failure_message}}"
      }
    }
  ]
}

配置生效方式 #

写入文档时指定pipeline即可：

POST <你的索引名>/_doc?pipeline=generate_composite_id
{
  "first_name": "john",
  "last_name": "doe",
  "dob": "1987-12-21",
  "phone": "7894456123",
  "其他字段": "xxx"
}

如果是月度滚动索引，可直接在索引模板中配置默认pipeline，无需每次写入指定：

PUT _index_template/<你的模板名>
{
  "index_patterns": ["<你的索引前缀>-*"],
  "template": {
    "settings": {
      "default_pipeline": "generate_composite_id"
    }
  }
}

其他可选方案 #

如果不想用哈希，可直接用拼接后的串作为_id：只要确认四个字段的总长度加3个分隔符不超过512字符即可，优势是_id可直接反查业务主键，无需额外存储映射关系。示例拼接处理器配置：

{
  "join": {
    "field": ["first_name", "last_name", "dob", "phone"],
    "separator": "|",
    "target_field": "_id"
  }
}

内容的提问来源于stack exchange，提问作者Jugraj Singh