Elasticsearch跨多数据源如何基于多可选ID实现文档去重

Elasticsearch 原生不支持你描述的「多可选ID」自动合并能力。ES 的文档_id是写入前就必须明确指定的单值唯一标识，没有内置逻辑可以根据写入数据携带的字段动态匹配已有同实体文档、自动选ID完成合并。

方案1：前置实体映射层（生产环境推荐，无并发问题） #

这是多源数据合并场景最通用的稳妥方案：

• 单独维护一份实体标识映射关系，核心存储每个车辆实体对应的全局唯一entity_id（可自行生成UUID），以及该实体绑定的所有唯一业务标识：plate（车牌）、VIN（车辆识别码），映射关系可以存在Redis或者单独的ES索引里，查询性能足够高。
• 所有数据源的写入请求先经过映射层做ID匹配：
  • 提取当前写入数据携带的所有唯一标识字段（有VIN就取VIN，有plate就取plate）
  • 到映射表中查询是否有任意一个标识匹配到已存在的entity_id
  • 如果匹配到，直接用这个entity_id作为ES文档的_id，走原生upsert逻辑写入，新字段会自动合并到已有文档，不会生成重复数据
  • 如果没有匹配到，生成新的entity_id写入ES，同时把当前数据携带的plate、VIN和新entity_id的绑定关系存入映射表
• 对应你的场景：database2的车辆A数据只有VIN没有plate时，映射层会通过VIN匹配到database1写入时绑定的entity_id，直接用该ID写入即可完成合并，不会产生重复文档。

方案2：基于_update_by_query的动态匹配（适合低并发场景） #

如果不想额外维护映射表，可以用ES的更新接口实现动态匹配，但是存在并发竞态风险：

• 写入时不预先指定固定_id，先根据当前数据携带的唯一标识构造查询条件：带VIN就加VIN的精确匹配，带plate就加plate的精确匹配，两个条件用should连接实现「任意一个匹配就算同实体」的逻辑
• 调用_update_by_query接口执行带脚本的upsert：如果查询匹配到1条已有文档，就把新数据的字段合并到该文档；如果匹配到0条，就新增一条文档；如果匹配到多条，就触发预先写好的去重逻辑合并重复文档
• 这个方案的缺点是高并发写入时，两个同实体数据可能同时查询不到已有文档，进而生成重复记录，仅适合写入并发不高的非核心场景。

不要尝试用多字段拼接的方式生成固定规则的_id，比如把plate和VIN拼接作为文档ID。遇到database2这种缺失plate字段的数据时，拼接出来的ID和之前带plate的同实体数据ID完全不一致，还是会生成重复文档，解决不了你的问题。
写入前建议先做字段名统一，比如把三个数据源都有的color、date of creation字段做统一命名映射，避免同语义不同字段名导致合并后字段冗余。

内容的提问来源于stack exchange，提问作者Iván