Java中AWS S3含特定前缀模式的List/Get操作解决方案咨询

方案一：前缀过滤+客户端侧筛选 #

利用S3前缀匹配先缩小范围（匹配02/开头的所有对象），再在本地对对象键进行字符串校验，筛选出符合*_ActivateTopiaProtection/模式的结果。

import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Request;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Response;
import software.amazon.awssdk.services.s3.model.S3Object;

public class S3ObjectFilter {
    public static void main(String[] args) {
        String bucketName = "你的存储桶名称";
        String targetOrgId = "02";
        String targetType = "ActivateTopiaProtection";
        String basePrefix = targetOrgId + "/";

        try (S3Client s3Client = S3Client.create()) {
            ListObjectsV2Request request = ListObjectsV2Request.builder()
                    .bucket(bucketName)
                    .prefix(basePrefix)
                    .build();

            ListObjectsV2Response response;
            do {
                response = s3Client.listObjectsV2(request);
                // 遍历所有对象，筛选符合条件的键
                for (S3Object obj : response.contents()) {
                    String key = obj.key();
                    String[] keyParts = key.split("/", 3);
                    // 校验第二部分是否以"_ActivateTopiaProtection"结尾
                    if (keyParts.length >= 2 && keyParts[1].endsWith("_" + targetType)) {
                        System.out.println("匹配对象键：" + key);
                        // 此处可添加对象处理逻辑（如下载、记录等）
                    }
                }
                // 处理分页，获取下一页结果
                request = ListObjectsV2Request.builder()
                        .bucket(bucketName)
                        .prefix(basePrefix)
                        .continuationToken(response.nextContinuationToken())
                        .build();
            } while (response.isTruncated());
        }
    }
}

• 优势：实现简单，无需额外S3配置；
• 劣势：若目标Org下对象数量极大，会拉取大量冗余数据到客户端，影响性能。

方案二：前缀+分隔符优化筛选 #

利用S3的delimiter参数先获取02/下的所有二级前缀（即<time>_<type>/格式的目录），筛选出符合类型的前缀后，再遍历对应前缀下的所有对象，减少数据传输量。

import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Request;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Response;
import software.amazon.awssdk.services.s3.model.CommonPrefix;

public class S3PrefixFilter {
    public static void main(String[] args) {
        String bucketName = "你的存储桶名称";
        String targetOrgId = "02";
        String targetType = "ActivateTopiaProtection";
        String basePrefix = targetOrgId + "/";

        try (S3Client s3Client = S3Client.create()) {
            // 获取Org下所有二级前缀
            ListObjectsV2Request prefixRequest = ListObjectsV2Request.builder()
                    .bucket(bucketName)
                    .prefix(basePrefix)
                    .delimiter("/") // 仅返回下一级目录前缀
                    .build();

            ListObjectsV2Response prefixResponse = s3Client.listObjectsV2(prefixRequest);
            // 筛选符合目标类型的前缀
            for (CommonPrefix prefix : prefixResponse.commonPrefixes()) {
                String fullPrefix = prefix.prefix();
                String[] prefixParts = fullPrefix.split("/", 3);
                if (prefixParts.length >= 2 && prefixParts[1].endsWith("_" + targetType)) {
                    // 遍历该前缀下的所有对象
                    ListObjectsV2Request objRequest = ListObjectsV2Request.builder()
                            .bucket(bucketName)
                            .prefix(fullPrefix)
                            .build();

                    ListObjectsV2Response objResponse;
                    do {
                        objResponse = s3Client.listObjectsV2(objRequest);
                        objResponse.contents().forEach(obj -> 
                                System.out.println("匹配对象键：" + obj.key()));

                        objRequest = ListObjectsV2Request.builder()
                                .bucket(bucketName)
                                .prefix(fullPrefix)
                                .continuationToken(objResponse.nextContinuationToken())
                                .build();
                    } while (objResponse.isTruncated());
                }
            }
        }
    }
}

• 优势：大幅减少客户端拉取的数据量，性能更优，适合大数量场景；
• 劣势：多一层前缀筛选逻辑，代码稍复杂。

方案三：标签+Athena批量查询（复杂场景可选） #

如果需要频繁按类型做复杂查询，可在上传对象时添加自定义标签（如type=ActivateTopiaProtection），再通过Amazon Athena编写SQL分析S3对象数据。

1. 上传对象时添加标签：

import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import java.nio.file.Paths;

// 示例：上传时添加标签
PutObjectRequest putRequest = PutObjectRequest.builder()
        .bucket(bucketName)
        .key(objectKey)
        .tagging("type=ActivateTopiaProtection,orgId=02")
        .build();
s3Client.putObject(putRequest, Paths.get("本地文件路径"));

2. 通过Athena查询（需先创建S3对象映射表）：

SELECT s3_object_key 
FROM s3_objects_table
WHERE orgId = '02' AND type = 'ActivateTopiaProtection';

• 优势：支持复杂条件查询、批量统计；
• 劣势：实时性差，适合离线或批量查询场景。

内容的提问来源于stack exchange，提问作者VitalyT