如何用ListObjectsV2Command获取S3中所有index.yaml文件？

问题场景 #

我的AWS S3存储结构如下：

/folder1
  /index.yaml
  /somefile.csv
/folder2
  /index.yaml
  /anotherfile.png
/folder3
  /file.xml

我需要用ListObjectsV2Command获取所有名为index.yaml的文件，但目前该命令仅支持Prefix参数，不支持按后缀（Suffix）筛选，请问有没有办法实现？我期望的返回结果是：

/folder1/index.yaml
/folder2/index.yaml

如果无法直接实现，难道只能遍历所有文件吗？实在难以相信AWS没有提供这个功能。

我想到的临时解决方案是先获取所有根目录列表，再逐个尝试获取对应目录下的index.yaml文件，但如果ListObjectsV2Command支持Suffix参数会是更优的方案。

核心结论 #

AWS S3 的 ListObjectsV2 API（包括对应的ListObjectsV2Command）确实不支持直接通过后缀（Suffix）筛选对象，只能通过Prefix前缀匹配、Delimiter分隔符分组等方式缩小范围。

可行方案 #

1. 全局遍历后客户端过滤 #

如果存储桶内对象数量不大，可以直接遍历所有对象，再在代码里筛选出目标文件。示例JavaScript代码：

const { S3Client, ListObjectsV2Command } = require("@aws-sdk/client-s3");
const client = new S3Client({ region: "你的区域" });

const listIndexFiles = async () => {
  const params = { Bucket: "你的存储桶名" };
  let allObjects = [];
  let continuationToken;

  // 处理分页遍历所有对象
  do {
    if (continuationToken) params.ContinuationToken = continuationToken;
    const response = await client.send(new ListObjectsV2Command(params));
    allObjects = [...allObjects, ...response.Contents];
    continuationToken = response.NextContinuationToken;
  } while (continuationToken);

  // 筛选出所有index.yaml文件
  const indexFiles = allObjects
    .map(obj => obj.Key)
    .filter(key => key.endsWith("/index.yaml"));
  
  console.log(indexFiles);
};

listIndexFiles();

2. 按目录分组遍历（优化方案） #

就是你提到的思路：先获取根目录列表，再逐个检查目录下是否存在index.yaml。这种方式避免遍历所有对象，适合目录结构清晰、子目录数量不多的场景。示例JavaScript代码：

const { S3Client, ListObjectsV2Command, HeadObjectCommand } = require("@aws-sdk/client-s3");
const client = new S3Client({ region: "你的区域" });

const findIndexFiles = async () => {
  // 获取根目录列表
  const dirParams = {
    Bucket: "你的存储桶名",
    Delimiter: "/"
  };
  const dirResponse = await client.send(new ListObjectsV2Command(dirParams));
  const rootDirs = dirResponse.CommonPrefixes.map(prefix => prefix.Prefix);

  const indexFiles = [];
  for (const dir of rootDirs) {
    const filePath = `${dir}index.yaml`;
    try {
      // 用HeadObject检查文件是否存在，比GetObject更轻量
      await client.send(new HeadObjectCommand({
        Bucket: "你的存储桶名",
        Key: filePath
      }));
      indexFiles.push(filePath);
    } catch (err) {
      // 文件不存在时跳过，其他异常抛出
      if (err.name !== "NotFound") throw err;
    }
  }

  console.log(indexFiles);
};

findIndexFiles();

额外说明 #

S3的对象存储是扁平结构，所谓“目录”只是对象Key里的前缀逻辑。ListObjectsV2的索引是基于Key前缀构建的，后缀匹配需要全局扫描，性能成本较高，因此AWS没有提供原生支持。如果频繁需要按后缀筛选，建议在上传对象时添加自定义标签（比如file-type: index-yaml），后续通过S3 Inventory或Athena查询标签来批量获取目标文件，适合大规模存储场景。

内容的提问来源于stack exchange，提问作者mihails.kuzmins