如何使用AWS SDK v1实现与指定CLI命令等效的S3批量删除？

可以实现，AWS SDK v1没有直接提供按前缀递归删除S3对象的API，需要结合listObjects（列出指定前缀下的对象）和deleteObjects（批量删除对象）两个方法来完成，同时可以模拟CLI的--dryrun效果。

对应的CLI命令说明 #

原CLI命令的作用是模拟删除s3://my-bucket下PREFIX_0/路径下的所有对象：

$ aws s3 rm s3://my-bucket --dryrun --recursive --exclude "*" --include "PREFIX_0/*"

输出的(dryrun) delete条目就是CLI模拟的删除对象列表。

SDK v1实现步骤 #

1. 列出指定前缀下的所有对象密钥

listObjects接口单次最多返回1000个对象，需要通过marker参数分页迭代，直到获取所有符合前缀的对象密钥：

private static List<String> listObjectsByPrefix(AmazonS3 client, String bucketName, String prefix) {
    List<String> objectKeys = new ArrayList<>();
    ListObjectsRequest listRequest = new ListObjectsRequest()
            .withBucketName(bucketName)
            .withPrefix(prefix);

    boolean isTruncated;
    do {
        ObjectListing objectListing = client.listObjects(listRequest);
        // 提取当前页的对象密钥
        List<String> pageKeys = objectListing.getObjectSummaries().stream()
                .map(S3ObjectSummary::getKey)
                .collect(Collectors.toList());
        objectKeys.addAll(pageKeys);

        // 更新分页标记，准备下一页请求
        isTruncated = objectListing.isTruncated();
        listRequest.setMarker(objectListing.getNextMarker());
    } while (isTruncated);

    return objectKeys;
}

2. 批量删除对象（支持dryrun）

使用deleteObjects批量删除对象，通过withDryRun(true)可以模拟删除（对应CLI的--dryrun）：

private static void batchDeleteObjects(AmazonS3 client, String bucketName, List<String> objectKeys, boolean dryRun) {
    // deleteObjects单次最多删除1000个对象，分批次处理
    for (int i = 0; i < objectKeys.size(); i += 1000) {
        int endIndex = Math.min(i + 1000, objectKeys.size());
        List<String> batchKeys = objectKeys.subList(i, endIndex);

        DeleteObjectsRequest deleteRequest = new DeleteObjectsRequest(bucketName)
                .withKeys(batchKeys.toArray(new String[0]))
                .withDryRun(dryRun);

        try {
            DeleteObjectsResult result = client.deleteObjects(deleteRequest);
            // 如果是dryrun，打印模拟删除的对象
            if (dryRun) {
                result.getDeletedObjects().forEach(deleted -> 
                    System.out.printf("(dryrun) delete: s3://%s/%s%n", bucketName, deleted.getKey())
                );
            }
        } catch (AmazonServiceException e) {
            // 处理删除异常，比如权限不足、对象不存在等
            System.err.println("删除操作出错: " + e.getMessage());
        }
    }
}

3. 整合调用示例

public static void main(String[] args) {
    // 初始化AmazonS3客户端（根据实际配置调整）
    AmazonS3 s3Client = AmazonS3ClientBuilder.defaultClient();
    String bucketName = "my-bucket";
    String targetPrefix = "PREFIX_0/";
    boolean isDryRun = true; // 对应CLI的--dryrun

    // 列出目标前缀下的所有对象
    List<String> objectKeys = listObjectsByPrefix(s3Client, bucketName, targetPrefix);
    // 执行批量删除（或模拟删除）
    batchDeleteObjects(s3Client, bucketName, objectKeys, isDryRun);
}

注意事项 #

• deleteObjects接口单次最多支持删除1000个对象，代码中已做分批次处理；
• 处理大量对象时，批量删除的性能远优于单个删除，若对象数量极多，可考虑多线程分批次并发删除（需注意S3的请求并发限制）；
• dryrun模式下，请求会被AWS服务验证（比如权限、对象存在性），但不会实际执行删除操作，返回的结果会包含拟删除的对象列表。

内容的提问来源于stack exchange，提问作者DoNuT