如何提升使用@google-cloud/storage从GCS下载的每秒请求速率？

首先，你遇到的瓶颈大概率不是GCS服务端的限制，而是@google-cloud/storage客户端的默认配置或者Node.js HTTP模块的默认并发约束导致的。下面是几个能帮你快速提升到接近官方标称速率的方法：

1. 配置自定义HTTP Agent，解锁并发连接上限 #

Node.js的http/https模块虽然后续版本默认放开了连接数限制，但@google-cloud/storage底层的请求库可能仍有默认约束。你可以创建自定义Agent，调高并发连接数并启用连接复用，再搭配HTTP/2的多路复用特性，能大幅提升并发请求效率：

const { Agent } = require('https');
const Storage = require('@google-cloud/storage');

// 创建支持高并发的HTTPS Agent
const agent = new Agent({
  maxSockets: 1000, // 根据自身需求调整，比如设为1000
  keepAlive: true, // 启用长连接复用，减少握手开销
});

const storage = Storage({
  keyFilename: './gcloud-api-creds.json',
  httpAgent: agent,
  httpsAgent: agent,
  http2: true, // 启用HTTP/2，支持单连接多路复用
});

const bucket = storage.bucket('my-bucket');

Promise.all(Array.from(Array(80)).map( (d,i) => 
  bucket.file(`index.html`)
    .download()
    .then(() => console.log(`done ${i}`))
)).then(() => console.log("READY"));

2. 改用流式下载替代download()方法 #

download()方法会把整个文件加载到内存中返回，不仅对大文件不友好，还会占用额外内存资源影响并发效率。改用流式下载能更高效地利用连接，减少资源开销：

const fs = require('fs');
const file = bucket.file('index.html');

// 用流式下载替代download()，适合批量并发场景
const downloadStream = file.createReadStream();
// 如果需要保存到本地，可直接pipe到文件流
downloadStream.pipe(fs.createWriteStream(`./local-copy-${Date.now()}.html`));

对于重复下载同一文件的场景，流式下载的并发表现会远优于download()。

3. 调整客户端重试配置避免不必要的节流 #

@google-cloud/storage默认带有重试机制，若遇到临时错误会自动重试，但不当的重试配置可能导致请求被意外节流。你可以调整重试参数，减少不必要的重试次数：

const storage = Storage({
  keyFilename: './gcloud-api-creds.json',
  retry: {
    retryDelayMultiplier: 1.2,
    totalTimeout: 60000,
    retries: 3, // 减少非必要重试，避免请求堆积
  },
});

4. 验证环境与网络限制 #

确保你的测试环境没有被网络提供商或云服务商限制带宽/并发连接数：

• 优先在GCS同区域的云服务器上测试，避免跨区域网络延迟影响速率
• 检查本地/服务器的防火墙、代理是否有请求数限制
• 家用网络的带宽通常无法支撑高并发下载，建议在云端环境验证

内容的提问来源于stack exchange，提问作者Mikael Lepistö