如何限制AWS S3对象列举层级以高效获取分区主题？

方案1：利用S3 ListObjectsV2的Delimiter参数直接获取前缀层级 #

这是最高效的方式，无需遍历所有对象，仅列举到subject层级的前缀。S3的Delimiter参数会按指定分隔符（这里用/）对前缀分组，配合Prefix定位到目标目录后，可直接拿到所有subject=xxx/的前缀，从中提取subject值即可。

修改后的Scala代码：

import com.amazonaws.services.s3.{AmazonS3, AmazonS3ClientBuilder}
import com.amazonaws.services.s3.model.{ListObjectsV2Request, ListObjectsV2Result}
import com.amazonaws.regions.Regions

val s3: AmazonS3 = AmazonS3ClientBuilder.standard().withRegion(Regions.DEFAULT_REGION).build()
val request = new ListObjectsV2Request()
  .withBucketName("student-subject-bucket")
  .withPrefix("event-processed/student-score/") // 末尾加/确保定位到目录层级
  .withDelimiter("/") // 按/分隔前缀，只返回当前层级的目录

var result: ListObjectsV2Result = null
val distinctSubjects = scala.collection.mutable.Set[String]()

while (result == null || result.isTruncated) {
  result = s3.listObjectsV2(request)
  request.setContinuationToken(result.getNextContinuationToken())
  
  // 处理返回的公共前缀，提取subject值
  result.getCommonPrefixes.forEach { prefix =>
    val subject = prefix.replace("event-processed/student-score/subject=", "").stripSuffix("/")
    distinctSubjects.add(subject)
  }
}

println(distinctSubjects) // 输出 Set(math, science, arts)

该方法仅返回subject层级的前缀，不会遍历student_id、日期等子层级的对象，数据量越大性能优势越明显。

方案2：写入S3时同步维护元数据（适合频繁查询场景） #

若需频繁查询distinct subject，可在向S3写入数据时，同步将subject值存入元数据存储（如DynamoDB），后续直接从元数据存储查询，完全避免S3遍历操作。

核心思路：

• 写入S3前，从路径或数据中提取subject值
• 调用DynamoDB的putItem方法，以subject为唯一主键（或用集合类型存储所有subject）
• 查询时直接从DynamoDB获取所有distinct subject值

此方式适合实时性要求高、查询频繁的场景，缺点是需额外维护元数据存储。

方案3：使用S3 Inventory（适合非实时查询场景） #

若无需实时获取subject值，可启用S3 Inventory功能，定期生成存储桶的对象清单（支持CSV/Parquet格式），再通过分析清单文件提取distinct subject值。

操作步骤：

1. 在S3控制台为目标存储桶配置Inventory，选择包含对象前缀，输出格式选Parquet（方便后续分析）
2. 定期读取生成的Inventory文件，用Spark/Athena等工具分析前缀，提取distinct的subject值

该方式适合批量、非实时的查询场景，无需编写复杂的S3遍历逻辑，依托AWS原生服务完成。

内容的提问来源于stack exchange，提问作者Ashit_Kumar