Node/Express从GCS文件名数组批量生成signed URL过慢如何优化？

核心优化点 #

• 替换串行循环为并发异步处理
  原来的for...of循环是串行执行，每个文件都要等前一个生成签名、探测尺寸完成才会处理下一个，10个文件就要至少5s，改成并发处理后可以把总耗时压缩到单文件耗时的1.2~1.5倍左右。
  为了避免并发数太高触发GCS的限流规则，建议用p-limit库限制并发数（推荐设置为10~20，可根据实际限流情况调整）。
• 确认签名生成本地化
  @google-cloud/storage库的getSignedUrl方法在正确配置服务账号密钥的前提下，是本地离线计算签名，不需要发起网络请求。如果单文件耗时500ms，大概率是你的服务到GCS节点网络延迟高，或者你用的是需要远程调用的认证方式（比如ADC元数据服务获取认证），可以优先换用本地加载服务账号JSON密钥的方式认证，消除网络开销。
• 缓存预生成结果+定期刷新
  因为你是提前拉取列表供前端调用，不需要实时生成签名，可以把签名URL的过期时间设置为更长（比如24小时），然后写定时任务每12小时重新生成一次fileList，既避免每次请求都生成签名的开销，也保证签名不会过期。
• 并行拆分执行逻辑
  把「生成签名URL」和「探测图片尺寸」两个异步逻辑拆分开，先批量生成所有签名URL，再批量探测图片尺寸，避免两个IO操作互相等待。

优化后代码示例 #

首先安装依赖：npm install p-limit

const pLimit = require('p-limit');
// 限制并发数为15
const limit = pLimit(15);

let fileList = [];

// 服务启动时执行一次，之后每12小时刷新一次
listFiles().catch(console.error);
setInterval(() => listFiles().catch(console.error), 12 * 60 * 60 * 1000);

async function listFiles() {
  const [files] = await storage.bucket(bucketName).getFiles();
  // 第一步：批量并行生成所有签名URL
  const signedUrlTasks = files.map(file => limit(async () => {
    const url = await generateV4ReadSignedUrl(file.id);
    return { file, url };
  }));
  const urlResults = await Promise.all(signedUrlTasks);
  
  // 第二步：批量并行探测图片尺寸
  const probeTasks = urlResults.map(item => limit(async () => {
    const result = await probe(item.url).catch(console.error);
    return result;
  }));
  const newFileList = await Promise.all(probeTasks);
  
  // 替换全局缓存的列表
  fileList = newFileList.filter(Boolean);
  console.log('fileList更新完成，总数：', fileList.length);
  return fileList;
}

async function generateV4ReadSignedUrl(fileName) {
  const options = {
    version: 'v4',
    action: 'read',
    // 过期时间调整为24小时
    expires: Date.now() + 24 * 60 * 60 * 1000,
  };
  const [url] = await storage
    .bucket(bucketName)
    .file(fileName)
    .getSignedUrl(options);
  return url;
}

// 接口保持不变
app.get('/api/photos', async (req, res) => {
  try {
    res.json({ fileList });
  } catch (err) {
    console.log('err', err);
    res.status(500).json({ error: '获取列表失败' });
  }
});

额外优化建议 #

如果图片是公开可访问的场景，可以直接把存储桶的对应路径设置为公共读，不需要生成签名URL，直接拼接https://storage.googleapis.com/${bucketName}/${fileName}作为访问地址，完全消除签名生成的开销。

内容的提问来源于stack exchange，提问作者Kirk Ross