ElasticSearch查询结果中部分文档缺失_id字段的原因排查

核心问题 #

你在查询的fields参数中指定_id，本质是在请求文档内容（_source）中名为_id的字段，而非Elasticsearch元数据层面的文档ID。出现部分结果fields里有_id、部分没有的情况，根源在于写入时的文档内容差异：

• 那些fields包含_id的文档，是因为写入时my_body中不小心混入了_id键值对，导致文档的_source中存储了这个字段；
• 没有_id的文档，_source本身就不存在该字段，所以fields自然无法返回。

你提到查看_source时无明显差异，大概率是没注意到部分文档的_source里多了_id这个键（可能是写入逻辑的偶发错误）。

关键纠正点 #

Elasticsearch的文档ID是元数据，默认会在每个查询结果的hit顶层返回（即hit['_id']），完全不需要在fields参数中指定。你的查询里把_id放进fields是错误用法，相当于在找文档内容里的自定义字段，而非元数据ID。

解决方法 #

1. 修正查询逻辑：
   移除fields中的_id，直接从每个hit的顶级属性_id获取文档ID，示例：

   response = await es.search(index='my_index', body=your_query)
   for hit in response['hits']['hits']:
       doc_id = hit['_id']  # 正确获取元数据ID
       fields = hit['fields']  # 这里只包含aaa、bbb、timestamp
   

2. 检查写入逻辑：
   排查my_body的生成代码，确保不会误将_id（你传入es.index的id参数）写入到文档内容中，保持所有文档的_source结构一致。

内容的提问来源于stack exchange，提问作者dl639j