Elasticsearch：如何删除文档旧版本？仅保留最新两个版本

方法一：滚动搜索+批量删除（一次性清理存量旧版本） #

1. 分组统计每个实体的所有版本日期 #

假设你的文档通过doc_id字段区分同一实体的不同版本，用version_date字段标记版本时间，先通过聚合获取每个实体的全量版本信息：

POST /your_index/_search?size=0
{
  "aggs": {
    "group_by_entity": {
      "terms": {
        "field": "doc_id",
        "size": 10000  // 数值按需调整，确保覆盖所有实体标识
      },
      "aggs": {
        "sorted_versions": {
          "top_hits": {
            "size": 100,  // 单个实体的最大版本数，按需设置
            "_source": ["version_date"],
            "sort": [{"version_date": "desc"}]
          }
        }
      }
    }
  }
}

2. 筛选待删除的旧版本 #

遍历聚合结果，对每个doc_id对应的版本列表：

• 保留前2条（最新的两个版本），从第3条开始的所有版本即为待删除对象，记录这些文档的_id（或通过doc_id+version_date组合定位文档）。

3. 批量执行删除操作 #

通过_bulk API批量删除目标文档：

POST /_bulk
{"delete": {"_index": "your_index", "_id": "old_version_doc_id_1"}}
{"delete": {"_index": "your_index", "_id": "old_version_doc_id_2"}}
// 补充更多待删除文档条目

方法二：定时脚本+Ingest Pipeline（持续管控版本数量） #

为避免后续旧版本持续积累，可设置定时清理机制：

• 基于方法一的逻辑编写脚本（Python、Shell均可），定期执行版本统计与旧版本删除操作。
• 借助系统定时任务（如Linux Cron、Windows任务计划程序）或Elasticsearch Watcher（需对应License），自动触发清理脚本。

方法三：索引生命周期管理（ILM）适配场景优化 #

若版本可按时间批次划分，可调整存储策略：

• 改为按日期创建索引（如your_index-2024.05），通过ILM配置规则，仅保留最近2个周期的索引，自动删除更早的索引。此方法需调整数据写入逻辑，确保不同版本写入对应时间索引。

注意事项 #

• 删除操作前务必完成数据备份，避免误删关键版本。
• 大数量级删除需分批次执行，避免对集群造成性能压力。
• 确认doc_id为实体的唯一标识，防止误删不同实体的文档。

内容的提问来源于stack exchange，提问作者sheharbano