如何基于子串检索S3存储桶中的对象？

核心限制说明 #

AWS S3的原生ListObjectsV2 API不支持直接按中间或后缀子串过滤对象，它仅能通过前缀（prefix）、分隔符（delimiter）、起始键（startAfter）等基于字典序的规则筛选对象。所以如果不想全量拉取所有对象再本地过滤，需要采用以下替代方案：

方案1：重新设计对象键命名规则（最优解） #

如果还能修改对象键的命名方式，把需要检索的子串放到前缀位置，比如将原键名12345-abcde.json改为abcde-12345.json。这样就可以直接用S3的前缀过滤能力快速筛选对象，无需额外工具。

Java SDK 2.x 示例代码 #

import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Request;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Response;
import software.amazon.awssdk.services.s3.model.S3Object;

public class S3FilterByPrefix {
    public static void main(String[] args) {
        try (S3Client s3Client = S3Client.create()) {
            String bucketName = "你的存储桶名称";
            String targetSubstring = "abcde";
            // 用修改后的前缀构造查询条件
            ListObjectsV2Request request = ListObjectsV2Request.builder()
                    .bucket(bucketName)
                    .prefix(targetSubstring + "-")
                    .build();

            ListObjectsV2Response response;
            do {
                response = s3Client.listObjectsV2(request);
                // 遍历符合条件的对象
                for (S3Object obj : response.contents()) {
                    System.out.println("匹配的对象键：" + obj.key());
                }
                // 处理分页（如果结果超过1000个对象）
                request = request.toBuilder()
                        .continuationToken(response.nextContinuationToken())
                        .build();
            } while (response.isTruncated());
        }
    }
}

方案2：使用S3 Inventory + Athena查询（适合已存大量对象的场景） #

如果无法修改现有对象键，可以通过S3 Inventory生成对象清单，再用Athena执行SQL查询来筛选符合子串条件的对象，全程无需全量拉取对象列表。

步骤说明 #

1. 开启S3 Inventory：在目标存储桶的管理面板中配置Inventory，选择定期生成包含对象键的CSV格式清单，并指定输出到另一个S3存储桶。
2. 创建Athena外部表：关联Inventory生成的CSV文件，定义表结构（至少包含key字段，对应对象键）。
3. 执行SQL查询：用模糊匹配筛选目标子串，例如：

   SELECT key FROM s3_inventory_table WHERE key LIKE '%-abcde.json'
   

Java SDK调用Athena查询示例（关键片段） #

import software.amazon.awssdk.services.athena.AthenaClient;
import software.amazon.awssdk.services.athena.model.StartQueryExecutionRequest;
import software.amazon.awssdk.services.athena.model.QueryExecutionContext;
import software.amazon.awssdk.services.athena.model.ResultConfiguration;

public class AthenaQueryS3Inventory {
    public static void main(String[] args) {
        try (AthenaClient athenaClient = AthenaClient.create()) {
            String query = "SELECT key FROM s3_inventory_table WHERE key LIKE '%-abcde.json'";
            String outputLocation = "s3://你的-athena-输出桶/path/";

            StartQueryExecutionRequest request = StartQueryExecutionRequest.builder()
                    .queryString(query)
                    .queryExecutionContext(QueryExecutionContext.builder().database("你的数据库名").build())
                    .resultConfiguration(ResultConfiguration.builder().outputLocation(outputLocation).build())
                    .build();

            // 启动查询并获取执行ID，后续可通过ID获取查询结果
            String queryExecutionId = athenaClient.startQueryExecution(request).queryExecutionId();
            System.out.println("查询执行ID：" + queryExecutionId);
        }
    }
}

方案3：使用对象标签辅助（有限适用） #

如果可以给符合条件的对象添加标签（例如group=abcde），后续可以通过S3 Batch Operations或自定义工具批量处理标签，但注意：S3的List API不支持直接按标签过滤对象列表，该方案仅适合需要批量操作对象的场景，无法直接通过标签检索对象键。

内容的提问来源于stack exchange，提问作者Jorge Guerreiro