Apache NiFi PutElasticsearchJson 2.0.0 ID缺失：MySQL同步ES Upsert重复创建文档

核心原因 #

upsert操作依赖Elasticsearch文档ID判断是插入新文档还是更新已有文档。若未明确指定文档ID，ES会自动生成随机ID，导致每次运行Flow都会创建新文档，而非更新原有数据。你的数据虽包含id字段，但NiFi默认不会自动将其作为ES文档ID使用。

解决方案步骤 #

1. 配置PutElasticsearchHttp处理器的文档ID #

在NiFi的PutElasticsearchHttp处理器配置中，找到Document ID属性，使用NiFi表达式语言从FlowFile的JSON内容中提取id字段作为ES文档ID：

${json-path:read('$.id')}

该表达式会解析FlowFile内的JSON数据，取出id字段值作为Elasticsearch文档的唯一标识。

2. 确认Index Operation设置 #

确保处理器的Index Operation已设置为upsert，其余相关属性（如Upsert Document Type）保持默认即可。

3. 验证JSON数据完整性 #

通过LogAttribute处理器打印FlowFile内容，确认从MySQL抽取转换后的JSON数据中，id字段始终存在且非空。

4. 检查Elasticsearch索引映射（可选） #

若ES索引为自动创建，默认映射会将id识别为数值类型，文档ID会自动转为字符串，不影响upsert逻辑。如需更严格的映射，可手动创建索引：

PUT /your_index_name
{
  "mappings": {
    "properties": {
      "id": {"type": "integer"},
      "name": {"type": "text"},
      "phone": {"type": "keyword"},
      "address": {"type": "text"},
      "city": {"type": "keyword"},
      "state": {"type": "keyword"}
    }
  }
}

验证方法 #

修改配置后重新运行Flow，在Kibana中查询索引数据，确认相同id的文档仅存在一条；修改MySQL数据后再次同步，ES中对应文档应被更新而非新增。

内容的提问来源于stack exchange，提问作者silentsudo