Node.js/TS项目使用@google-cloud/storage下载GCP Storage文件速度过慢

一、现有实现的可优化点 #

• 不要每次调用下载接口都重新实例化GoogleCloudStorageLibrary客户端，客户端本身实现了连接池复用逻辑，重复实例化会额外产生鉴权、连接初始化开销，建议把Storage实例提到模块全局，只初始化一次。
• 无需额外封装一层Promise，download()方法本身就返回Promise，额外包装反而可能引入不必要的逻辑开销。

二、下载速度慢的常见原因 #

1. 默认分片下载策略触发额外开销
   @google-cloud/storage默认对大于10MB的文件自动启用可恢复分片下载，每个分片会单独发起请求、校验分片完整性，在网络条件一般的本地环境下，多次往返请求会导致耗时成倍增加。你测试的28MB文件刚好触发了这个阈值，所以耗时差距尤其明显。
2. 默认重试策略过于保守
   库默认开启自动重试，且针对网络波动的重试等待时间为指数退避，在本地Docker网络偶尔波动的场景下，会额外增加等待耗时。
3. 强校验带来的性能损耗
   默认下载时会强制校验文件的MD5哈希值，大文件校验会额外占用CPU资源，叠加网络开销会放大总耗时。
4. Docker网络MTU不匹配
   本地Docker-compose默认的网络MTU通常为1500，但如果你的宿主机网络出口MTU更小（比如使用VPN、WiFi的MTU为1492或更低），会导致TCP分片丢包、重传，而库的分片下载逻辑对丢包更敏感，会比普通fetch的单连接下载耗时高很多。
5. 服务端点路由差异
   @google-cloud/storage默认会自动选择存储桶对应的服务端点，部分地区的本地环境可能路由到了较远的接入点，而你用fetch直接调用的media link可能刚好是就近的CDN节点，导致速度差异。

三、针对性解决办法 #

修改下载逻辑的配置参数即可，参考代码如下：

import { Storage as GoogleCloudStorageLibrary, DownloadOptions } from '@google-cloud/storage'

// 全局初始化Storage客户端，仅实例化一次
const storage = new GoogleCloudStorageLibrary()
const bucket = storage.bucket('...gcp_cloud_storage_bucket_name...')

export interface GoogleCloudStorageDownload {
  fileBuffer: Buffer;
  fileName: string;
}

const downloadBufferFile = async (filePath: string, originalName: string): Promise<GoogleCloudStorageDownload> => {
  try {
    // 配置下载参数，禁用不必要的功能
    const downloadOptions: DownloadOptions = {
      // 禁用可恢复下载，大文件直接用单流下载
      resumable: false,
      // 使用更轻量的crc32c校验，不需要校验可设置为false（不推荐）
      validation: 'crc32c',
      // 调整重试策略
      autoRetry: true,
      maxRetries: 2
    }
    const [fileBuffer] = await bucket.file(filePath).download(downloadOptions)
    return { fileBuffer, fileName: originalName }
  } catch (e) {
    if ((e as any).code === 404) {
      throw new Error(`CloudStorageService - ${(e as Error).message} at path: ${filePath}`)
    }
    throw new Error(`Error in downloading file from Google Cloud bucket at path: ${filePath}`)
  }
}

如果修改配置后仍然存在速度问题，可排查本地Docker网络的MTU配置，将docker-compose的网络MTU调整为和宿主机出口一致即可。

内容的提问来源于stack exchange，提问作者nicobees