如何通过listObjectsV2优先获取所有CommonPrefixes？S3目录展示问题

核心问题分析 #

你遇到的问题是因为S3的listObjectsV2接口设置MaxKeys后，会限制返回的总条目数（文件+目录前缀）。当存储桶内文件数量庞大（24000个）时，目录前缀（CommonPrefixes）会被分散到多个分页结果中，导致新创建的文件夹需要多次翻页才会出现。

不需要在创建文件夹时排序 #

S3默认按对象键的UTF-8二进制顺序返回结果，无法修改服务端排序规则。创建文件夹时的排序操作无法从根本上解决分页显示问题，反而会增加不必要的复杂度。

实现首次请求返回所有目录的方案 #

通过分离目录全量获取和文件分页获取的逻辑，在首次请求时遍历所有分页收集完整的CommonPrefixes，后续翻页仅处理文件数据：

module.exports.getDirectory = async (bucketPath = "", StartAfter = null) => {
    await initS3();
    let allCommonPrefixes = [];

    // 首次请求：遍历所有分页获取完整的目录列表
    if (!StartAfter) {
        let continuationToken = null;
        do {
            const dirParams = {
                Bucket: bucketName,
                Prefix: bucketPath,
                Delimiter: "/",
                MaxKeys: 1000, // S3允许的单次请求最大条目数
                ContinuationToken: continuationToken
            };
            const dirData = await s3.listObjectsV2(dirParams).promise();
            if (dirData.CommonPrefixes) {
                allCommonPrefixes = [...allCommonPrefixes, ...dirData.CommonPrefixes];
            }
            continuationToken = dirData.NextContinuationToken;
        } while (continuationToken);
    }

    // 获取文件分页数据
    const fileParams = {
        Bucket: bucketName,
        Prefix: bucketPath,
        Delimiter: "/",
        MaxKeys: 300
    };
    if (StartAfter) {
        fileParams.StartAfter = StartAfter;
    }

    try {
        const data = await s3.listObjectsV2(fileParams).promise();
        // 首次请求用全量目录，翻页请求用当前页目录（可选，因为首次已返回全量）
        const targetPrefixes = StartAfter ? data.CommonPrefixes : allCommonPrefixes;
        return {
            content: data.Contents,
            Prefix: data.Prefix,
            CommonPrefixes: targetPrefixes,
            IsTruncated: data.IsTruncated,
            // 传递下一页的起始Key（如果需要继续翻页）
            NextStartAfter: data.IsTruncated ? data.Contents[data.Contents.length - 1]?.Key : null
        };
    } catch (err) {
        console.log(err);
        return { err: err };
    }
};

代码说明 #

1. 全量目录获取：首次请求时，通过ContinuationToken循环调用listObjectsV2，直到获取所有CommonPrefixes（单次请求最多返回1000个条目，这是S3的上限）。
2. 文件分页处理：保持原有的300条分页逻辑，仅在首次请求时返回全量目录，后续翻页无需重复获取目录。
3. 前端适配：前端拿到全量CommonPrefixes后，可直接将其排在页面顶部，文件数据按分页展示即可。

额外优化建议 #

• 如果目录数量极大（超过1000个），上述循环逻辑会自动处理分页，确保获取完整目录列表。
• 若需要让新文件夹优先显示，可在前端对CommonPrefixes按名称逆序排序，或在创建文件夹时给名称添加时间戳前缀（如20240520_new_folder/），利用S3的排序规则让新目录靠前。

内容的提问来源于stack exchange，提问作者Eduardo Lemus Laguna