AWS S3批量删除异常：batch_delete!未移除全部文件问题

我之前处理过类似的S3批量删除问题，结合你的场景（31万+文件，偶尔剩余少量文件），咱们来分析可能的原因和对应的解决方案：

首先，确认日志的准确性：你的代码存在缓存问题 #

你执行objects = bucket.objects(prefix: prefix)后，objects是一个延迟加载的集合对象，第一次调用objects.count会缓存结果。执行batch_delete!后再次调用objects.count，返回的还是删除前的旧数据——这会导致你误以为删除不完全，但实际上可能已经删干净了。

修复方式：删除完成后，重新查询S3获取最新的剩余文件数量：

prefix = ['prod', 'mainfolder', 7.days.ago.utc.strftime('%Y-%m-%d')].join('/') # 明确时区和日期格式
bucket = s3.bucket(AWSS3.config[:s3][:bucket])

# 先获取初始数量
initial_count = bucket.objects(prefix: prefix).count
msg = "removing #{initial_count} files from #{prefix} folder."

# 执行删除
bucket.objects(prefix: prefix).batch_delete!

# 重新查询最新的剩余数量
remaining_count = bucket.objects(prefix: prefix).count
$mongodb['results'].insert_one(msg: "#{msg} Done. Now the folder contains: #{remaining_count} files.")

其次，batch_delete! 的底层限制与潜在失败 #

AWS S3的DeleteObjects API一次最多支持删除1000个对象，aws-sdk-s3的batch_delete!会自动将对象分成1000个一组的批次执行删除，但如果某一批次遇到网络波动、超时或者AWS内部错误，可能会静默失败（SDK可能不会抛出异常，只是跳过失败的批次）。

解决方案：手动分页并验证每批次的删除结果
手动处理每个批次，检查AWS返回的响应，记录并重试失败的删除操作：

prefix = ['prod', 'mainfolder', 7.days.ago.utc.strftime('%Y-%m-%d')].join('/')
bucket = s3.bucket(AWSS3.config[:s3][:bucket])
objects = bucket.objects(prefix: prefix)

objects.each_slice(1000) do |batch|
  # 构建删除请求
  delete_request = {
    delete: {
      objects: batch.map { |obj| { key: obj.key } }
    }
  }

  # 执行删除并获取响应
  response = bucket.delete_objects(delete_request)

  # 检查是否有删除失败的对象
  unless response.errors.empty?
    error_details = response.errors.map { |err| "#{err[:key]}: #{err[:message]}" }.join(', ')
    $mongodb['results'].insert_one(msg: "Batch delete failed for some files: #{error_details}")
    
    # 可选：对失败的对象进行重试
    failed_keys = response.errors.map { |err| err[:key] }
    retry_request = {
      delete: {
        objects: failed_keys.map { |key| { key: key } }
      }
    }
    bucket.delete_objects(retry_request)
  end
end

# 最后验证最终结果
final_count = bucket.objects(prefix: prefix).count
$mongodb['results'].insert_one(msg: "Delete operation finished. Remaining files: #{final_count}")

另外，检查前缀匹配的准确性 #

如果确实存在剩余文件，要确认你的prefix是否完全匹配目标文件的路径：

• 时区问题：7.days.ago默认使用服务器本地时区，如果S3中的文件路径使用UTC日期命名，需要改为7.days.ago.utc并指定统一的日期格式（比如%Y-%m-%d），避免因时区差导致部分文件匹配不到。
• 斜杠问题：确保前缀末尾没有多余的斜杠，或者S3文件路径的结构和你的前缀拼接逻辑一致（S3前缀匹配是前缀包含即可，prod/mainfolder/2024-05-01/和prod/mainfolder/2024-05-01的匹配范围是一样的）。

终极保障：循环清理直到无剩余文件 #

因为S3删除操作是幂等的（重复删除不存在的文件不会报错），可以在代码中加入循环，直到剩余文件数量为0：

prefix = ['prod', 'mainfolder', 7.days.ago.utc.strftime('%Y-%m-%d')].join('/')
bucket = s3.bucket(AWSS3.config[:s3][:bucket])

loop do
  remaining_objects = bucket.objects(prefix: prefix)
  count = remaining_objects.count
  
  break if count == 0
  
  $mongodb['results'].insert_one(msg: "Found #{count} remaining files, starting cleanup...")
  remaining_objects.batch_delete!
  
  # 加入短暂延迟，避免请求过于频繁触发AWS限流
  sleep(1)
end

$mongodb['results'].insert_one(msg: "All files under #{prefix} have been successfully deleted.")

内容的提问来源于stack exchange，提问作者kapkap