Node.js调用Google Cloud Storage海量文件获取性能优化咨询

首先看你代码里的明显问题：你连续调用了两次bucket.getFiles()，第一次await bucket.getFiles({autoPaginate: false})只是打印结果却完全没用到，第二次又重新发起请求处理数据，这直接浪费了一倍的请求时间和资源，是首要要修复的点。

针对大量文件桶的列表获取，以下是具体优化建议：

一、立即修复重复请求问题 #

删掉代码中多余的第一次getFiles调用，保留第二次用于处理数据的请求，直接减少一半耗时：

export const getFiles = async () => {
    const BUCKET_NAME = 'archive';  
    const bucket = new Storage({credentials: creds}).bucket(BUCKET_NAME);
  
    return bucket
    .getFiles({
      // 后续优化配置写在这里
    })
    .then(([files]) => {
      const filesResponse = files.map(({ metadata: file }) => ({
        cacheControl: file.cacheControl || "",
        contentEncoding: file.contentEncoding || "",
        contentType: file.contentType || "",
        version: file.generation,
        id: file.id,
        downloadLink: file.mediaLink,
        path: file.name,
        size: file.size,
        updated: file.updated,
        originalFileName: file.originalFileName,
      
      }));
      console.log ({ bucket: bucket.name, files: filesResponse });
      return ({ bucket: bucket.name, files: filesResponse });
    })
    .catch(err => {
      // 不要留空catch，至少打印错误便于排查
      console.error('获取文件列表失败:', err);
      throw err;
    });
};

二、合理使用分页，禁用autoPaginate: false #

当文件数量极大时，禁用分页会一次性拉取所有文件数据，不仅会导致内存占用飙升，还容易触发请求超时或GCS的限制。默认autoPaginate: true会自动分页获取，你可以通过pageSize参数控制每次拉取的数量（比如设为1000，平衡请求次数和单次数据量）：

.getFiles({
  pageSize: 1000,
  autoPaginate: true // 默认就是true，明确标注更清晰
})

三、只请求需要的元数据，减少传输体积 #

GCS默认会返回很多你不需要的字段，通过fields参数指定仅获取业务用到的字段，能大幅减小响应 payload 大小，提升传输速度：

.getFiles({
  pageSize: 1000,
  fields: 'items(metadata/cacheControl,metadata/contentEncoding,metadata/contentType,metadata/generation,metadata/id,metadata/mediaLink,metadata/name,metadata/size,metadata/updated,metadata/originalFileName),nextPageToken'
})

这里的nextPageToken是分页必须的字段，不能省略，其他字段对应你map中用到的属性。

四、按需过滤文件，减少返回数量 #

如果业务不需要桶里的所有文件，利用prefix、startTime、endTime等参数过滤：

• 只获取某个文件夹下的文件：prefix: 'reports/2024/'
• 只获取最近30天更新的文件：startTime: new Date(Date.now() - 30*24*60*60*1000)
  示例：

.getFiles({
  pageSize: 1000,
  fields: '...', // 同上配置
  prefix: 'docs/', // 仅拉取docs文件夹下的文件
  startTime: new Date('2024-01-01') // 仅拉取2024年及以后更新的文件
})

五、复用Storage和Bucket实例 #

每次调用getFiles都创建新的Storage和Bucket实例会带来不必要的初始化开销，把实例提到函数外部全局复用：

// 全局初始化，仅执行一次
const storage = new Storage({credentials: creds});
const bucket = storage.bucket('archive');

export const getFiles = async () => {
  return bucket
  .getFiles({
    // 优化配置
  })
  .then(...)
  .catch(...);
};

六、异步并行处理数据（可选） #

如果后续对文件数据的处理逻辑较重，可以在分页获取的过程中并行处理单页数据，而非等所有文件拉完再处理，比如用async/await配合分页迭代器：

export const getFiles = async () => {
  const filesResponse = [];
  // 获取分页迭代器
  const [files] = await bucket.getFiles({pageSize: 1000, fields: '...'});
  
  for await (const filePage of files) {
    // 并行处理当前页的文件数据
    const pageData = await Promise.all(
      filePage.map(({ metadata: file }) => ({
        // 你的映射逻辑
      }))
    );
    filesResponse.push(...pageData);
  }
  
  console.log({ bucket: bucket.name, files: filesResponse });
  return { bucket: bucket.name, files: filesResponse };
};

内容的提问来源于stack exchange，提问作者Adam Barnett