PostgreSQL RDS批量删除百万级数据致EC2实例崩溃求助

问题场景 #

• 环境：AWS PostgreSQL RDS + 8GB内存AWS EC2实例
• 每日定时任务（Java Spring实现，00:00:01触发）流程：
  1. 获取早于当前时间15天的数据（每日150万+行）
  2. 将数据写入CSV并压缩为ZIP上传至S3，此流程耗时约1.5分钟
  3. 执行原生SQL删除已归档的数据：DELETE FROM MY_TABLE WHERE id>='1' AND id<='10000000';（ID范围来自步骤1的查询结果）
• 核心问题：DELETE操作经常导致EC2实例崩溃
• 已尝试的操作：
  1. 给ID列建立了索引
  2. 使用@Async注解异步执行删除方法：

     @Async
     private void deleteLog(Long startId, Long lastId){
         deviceAppStatusLogRepository.deleteBetween(startId, lastId);
     }
     

  3. 尝试过批量删除相关优化方案
• 限制条件：
  1. 流程必须完全自动化，仅通过代码调度执行
  2. 数据无留存价值，不能转存至临时表

核心原因 #

一次性删除150万+行数据会触发PostgreSQL大量IO操作和事务日志写入，再加上EC2实例仅8GB内存，大事务会占用过多内存（比如索引维护、事务缓存），最终导致实例资源耗尽崩溃。

可行解决方案 #

1. 分批次删除（最直接有效） #

不要一次性删除全量数据，把ID范围拆成多个小批次（比如每批次1万-5万行），每次删除后短暂休眠，给数据库和EC2留足资源释放时间。示例代码：

@Async
public void deleteBatchLog(Long startId, Long endId) {
    int batchSize = 10000; // 可根据实例负载调整批次大小
    Long currentStart = startId;
    while (currentStart <= endId) {
        Long currentEnd = Math.min(currentStart + batchSize - 1, endId);
        deviceAppStatusLogRepository.deleteBetween(currentStart, currentEnd);
        // 短暂休眠避免资源持续占用
        try {
            Thread.sleep(200);
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            throw new RuntimeException("删除任务被中断", e);
        }
        currentStart = currentEnd + 1;
    }
}

2. 调整PostgreSQL参数优化 #

• 增大max_wal_size：适当提高WAL日志上限，避免频繁触发检查点导致IO突增（注意不要超过RDS存储限制）
• 降低maintenance_work_mem：减少索引维护时的内存占用，避免抢占业务内存
• 优化autovacuum参数：确保删除后及时清理死元组，避免磁盘和内存占用累积

3. 强制使用索引优化删除语句 #

虽然ID列有索引，但大范围DELETE可能仍走全表扫描，可强制指定索引：

DELETE FROM MY_TABLE 
WHERE id BETWEEN '1' AND '10000000'
USING INDEX idx_my_table_id;

4. 临时升级EC2资源（应急方案） #

如果以上优化仍无法解决问题，可临时将EC2实例内存升级至16GB，但这是成本导向方案，优先考虑前面的优化手段。

内容的提问来源于stack exchange，提问作者Gladiator9120