K8s部署Elasticsearch集群重启后已删除文档复现问题咨询

1. Elasticsearch软删除机制的基础背景 #

Elasticsearch对文档的删除是软删除：不会立刻从磁盘的段文件中移除文档，只是给目标文档添加一个删除标记。查询时ES会自动过滤带标记的文档，所以你刚删除aaa后搜索无结果是正常逻辑。这些带删除标记的文档，会在后台**段合并（Segment Merge）**过程中被物理清理，这个过程由ES自动触发，耗时从几分钟到几十分钟不等，取决于集群负载、索引数据量。

2. Pod异常重启引发的删除标记失效场景 #

当K8s资源不足导致ES Pod异常终止重启时，以下情况会让已删除的aaa重新出现：

• Translog未持久化：ES的所有写入、删除操作都会先写入内存中的事务日志（Translog），再定期刷入磁盘。如果Pod因内存不足直接崩溃，删除aaa的操作记录可能没来得及持久化到磁盘。Pod重启后，ES会根据磁盘上的Translog恢复操作，若删除记录丢失，aaa的删除标记就会失效，文档重新出现在查询结果中。
• 分片状态不一致：Pod离线后，集群可能将该节点上的分片副本提升为主分片。如果此时aaa的删除标记还未同步到所有副本，新主分片上就没有该标记。当原Pod重启重新加入集群后，作为副本从新主分片同步数据，未删除的aaa就会被同步回来。
• 软删除保留周期超时：ES默认保留软删除标记5分钟（通过index.soft_deletes.retention.lease配置），用于给离线副本同步操作。如果Pod重启时间超过这个周期，离线节点重新加入时无法获取到之前的删除标记，就会恢复出未删除的aaa。

3. 验证与解决建议 #

• 检查段合并状态：执行GET /_cat/segments/<索引名>?v查看索引段文件，若存在包含deleted_docs的段，说明段合并未完成。可在低峰期手动触发合并：POST /<索引名>/_forcemerge?only_expunge_deletes=true（注意：强制合并会消耗大量集群资源）。
• 确认存储与Translog配置：确保ES Pod使用持久化存储（如PVC），避免节点重启后数据丢失。若对数据一致性要求高，可调整index.translog.durability为request，确保每次操作都立即持久化Translog到磁盘（会牺牲部分写入性能）。
• 监控分片状态：执行GET /_cat/shards?v查看所有分片状态，确保所有分片处于STARTED状态，主副分片数据一致。
• 调整软删除保留周期：如果集群经常出现节点离线超过5分钟的情况，可修改index.soft_deletes.retention.lease参数延长保留时间（如设置为10m）。

内容的提问来源于stack exchange，提问作者itman_wei