如何定期删除Amazon Elasticsearch中的旧日志索引？

刚好之前帮不少朋友处理过AWS Elasticsearch旧索引清理的问题，结合你的需求，给你梳理两个最常用的靠谱方案，你可以根据自己的架构情况选：

这是目前AWS生态里比较轻量化的方案，完全不需要维护额外服务器：

• 核心逻辑：借助CloudWatch EventBridge（原CloudWatch Events）定时触发Lambda函数，通过调用Elasticsearch的REST API筛选并删除符合条件的旧索引（比如按logstash-YYYY.MM.DD的命名规则，判断日期是否超过保留期限）
• 实操步骤：
  1. 编写Lambda函数（推荐用Python，官方有现成的ES SDK可以用），实现索引列表查询、过期索引判断、删除操作的逻辑
  2. 在EventBridge里创建定时规则，比如设置成每天凌晨1点自动触发Lambda
  3. 给Lambda配置对应的IAM权限，确保它能访问你的ES集群（如果是VPC内的ES，要把Lambda部署到同一VPC；公开访问的ES则需要处理签名认证）
• 优势：无服务器架构，运维成本极低，按需付费，适合简单的定期删除需求
• 注意事项：一定要在测试环境先验证删除逻辑，避免误删；同时给Lambda加上错误捕获和日志输出，方便排查问题

如果你的索引管理需求更复杂（比如除了删除还要做索引滚动、快照备份），官方的Curator工具会更合适：

• 核心逻辑：Curator是Elastic官方推出的索引管理工具，支持按时间、大小、索引数量等多种规则执行清理、迁移、备份等操作，功能非常全面
• 部署方式：
  你可以把Curator打包成Docker镜像，用ECS Fargate或者EC2上的定时任务（Cron）来定期运行；也可以直接在EC2实例上安装Curator，用Cron调度执行
• 配置示例：
  你需要编写两个配置文件，一个是连接ES的curator.yml，另一个是定义清理规则的action.yml，比如：

  # action.yml 示例：删除30天前的logstash前缀索引
  actions:
    1:
      action: delete_indices
      description: "清理30天前的Logstash日志索引"
      options:
        ignore_empty_list: True
        continue_if_exception: False
      filters:
      - filtertype: pattern
        kind: prefix
        value: logstash-
      - filtertype: age
        source: name
        direction: older
        timestring: '%Y.%m.%d'
        unit: days
        unit_count: 30
  

• 优势：功能强大，支持复杂的索引管理场景，官方维护稳定性高
• 注意事项：要确保Curator的版本和你的ES版本兼容；如果用容器部署，需要维护镜像和调度任务，有一定运维成本

最后小建议 #

如果只是简单的定期删除旧索引，Lambda方案更省心；如果需要多维度的索引管理，Curator是更好的选择。不管用哪种方案，都建议先开启ES的索引快照备份，作为数据安全的兜底措施。

内容的提问来源于stack exchange，提问作者Darshan Chaudhary