如何高效删除AWS S3存储桶中特定Key模式的对象？

首先直接给你答案：不能直接在deleteObjects接口的Key参数里传入正则表达式。AWS S3的deleteObjects API要求你明确指定要删除的每个对象的完整Key，它本身不支持通过正则、通配符这类模糊匹配方式来批量指定对象——你提到的“先列出所有对象再过滤”是最基础的实现，但确实在对象量很大的时候效率偏低，下面给你几个更高效的替代方案：

1. 先通过前缀缩小范围，再用正则过滤（优化版基础方案） #

如果你的目标对象有共同的前缀（比如都在logs/2024/目录下），先在调用listObjectsV2时指定Prefix参数，把要遍历的对象范围大幅缩小，之后再对返回的Key做正则匹配。这种方式比全量遍历存储桶要高效得多，因为你只处理符合前缀的对象。

示例Node.js代码：

const AWS = require('aws-sdk');
const s3 = new AWS.S3();

async function deleteMatchingObjects(bucketName, prefix, regexPattern) {
  let nextToken;
  const regex = new RegExp(regexPattern);

  do {
    // 列出指定前缀下的对象，分页处理
    const listParams = {
      Bucket: bucketName,
      Prefix: prefix,
      ContinuationToken: nextToken
    };
    const { Contents, NextContinuationToken } = await s3.listObjectsV2(listParams).promise();
    
    // 过滤出符合正则的对象Key
    const objectsToDelete = Contents
      .filter(obj => regex.test(obj.Key))
      .map(obj => ({ Key: obj.Key }));

    // 批量删除（一次最多删1000个）
    if (objectsToDelete.length > 0) {
      const deleteParams = {
        Bucket: bucketName,
        Delete: { Objects: objectsToDelete }
      };
      await s3.deleteObjects(deleteParams).promise();
      console.log(`Deleted ${objectsToDelete.length} matching objects`);
    }

    nextToken = NextContinuationToken;
  } while (nextToken);

  console.log('All matching objects have been deleted');
}

// 调用示例：删除sample_bucket中前缀为logs/2024/且Key包含"error"的对象
deleteMatchingObjects('sample_bucket', 'logs/2024/', /error/);

2. 用AWS CLI的s3 rm命令（适合快速操作） #

如果你不需要写代码，AWS CLI的s3 rm命令支持用--include和--exclude参数结合通配符（注意是通配符，不是正则，但大部分正则场景可以转成通配符）来批量删除对象，而且CLI底层做了并发优化，效率比自己写的遍历代码高。

比如要删除sample_bucket中所有Key包含error的对象：

aws s3 rm s3://sample_bucket/ --recursive --include "*error*" --exclude "*"

如果你的正则逻辑比较复杂，也可以先通过s3 ls结合grep过滤出Key，再生成删除命令，比如：

aws s3 ls s3://sample_bucket/ --recursive | grep -E "your-regex-pattern" | awk '{print $4}' > keys-to-delete.txt
while read key; do aws s3 rm s3://sample_bucket/"$key"; done < keys-to-delete.txt

3. 用S3 Inventory + Athena（超大量对象场景） #

如果你的存储桶里有几百万甚至上千万个对象，手动遍历会非常慢，这时可以用S3 Inventory功能：

• 先在S3控制台开启存储桶的Inventory配置，让S3定期导出存储桶内所有对象的清单（包含Key、大小、创建时间等信息）到另一个存储桶。
• 然后用Athena创建一个表来解析这个Inventory文件，通过SQL查询筛选出符合正则的Key（Athena支持REGEXP_LIKE函数）。
• 最后把查询结果导出，生成批量删除的请求文件，用aws s3api delete-objects命令批量删除。

这种方式完全不需要自己遍历对象，所有操作都是S3和Athena后台处理，效率极高。

4. 用S3生命周期规则（长期自动化场景） #

如果你的删除需求是周期性的（比如每月删除上个月的特定日志），而且匹配规则可以转换成S3生命周期支持的条件（比如前缀、创建时间、对象标签），那配置生命周期规则是最优解：

• 如果你能给符合正则的对象打上统一标签（比如通过Lambda函数自动打标签），可以配置生命周期规则按标签匹配删除。
• 如果规则是基于前缀或时间，直接在生命周期规则里设置对应的条件即可。

这种方式完全不需要手动干预，S3会自动在后台处理删除，效率最高也最省心。

内容的提问来源于stack exchange，提问作者Sandesh Poudel