Go协程内Google Cloud Storage并行上传性能缓慢问题排查

问题原因 #

核心原因是GCP Go Storage客户端默认依赖的http.Transport连接池参数限制了同主机的并发连接数。所有GCS桶的API请求最终都指向storage.googleapis.com，而Go标准库默认的MaxIdleConnsPerHost值为2，当并发发起上传请求时，超出限制的请求会阻塞等待空闲连接释放，导致原本并行的操作串行执行，最终每个请求耗时翻倍。

objectWriter.Close()是上传流程中与GCS服务端交互的关键步骤（完成文件上传确认、元数据写入等），这一步需要占用HTTP连接，当连接池不足时，第二个请求的Close()必须等待第一个请求释放连接后才能执行，因此出现你观察到的串行现象。

解决方案 #

自定义HTTP客户端调整连接池参数 #

创建自定义的http.Transport并提高并发连接相关参数，用它初始化GCS客户端，即可支持更多并发请求：

import (
    "net/http"
    "time"
    "cloud.google.com/go/storage"
    "google.golang.org/api/option"
)

// NewGCSClient 创建带自定义连接池的GCS客户端
func NewGCSClient(ctx context.Context) (*storage.Client, error) {
    transport := &http.Transport{
        MaxIdleConns:          100,        // 全局最大空闲连接数
        IdleConnTimeout:       90 * time.Second, // 空闲连接超时时间
        MaxIdleConnsPerHost:   10,         // 单主机最大空闲连接数
        TLSHandshakeTimeout:   10 * time.Second, // TLS握手超时
        ExpectContinueTimeout: 1 * time.Second,
    }

    httpClient := &http.Client{
        Transport: transport,
        Timeout:   30 * time.Second, // 全局请求超时
    }

    return storage.NewClient(ctx, option.WithHTTPClient(httpClient))
}

之后在应用中使用该客户端获取BucketHandle：

// 全局初始化GCS客户端（建议单例）
gcsClient, err := NewGCSClient(context.Background())
if err != nil {
    // 处理初始化错误
}

// 获取两个目标存储桶的句柄
bucket1 := gcsClient.Bucket(app.config.storage.fileBucket)
bucket2 := gcsClient.Bucket(app.config.storage.regionalFileBucket)

额外优化建议 #

• 保持GCS客户端为全局单例，避免重复创建客户端造成资源浪费。
• 修改UploadObject函数，使用外部传入的context而非context.Background()，以便更好地控制请求生命周期（如传递超时、取消信号）：

  func UploadObject(ctx context.Context, uploadBytes []byte, bucket *storage.BucketHandle, objectName string) error {
      writeContext, cancel := context.WithTimeout(ctx, 30*time.Second)
      defer cancel()
  
      objectWriter := bucket.Object(objectName).NewWriter(writeContext)
      if _, err := io.Copy(objectWriter, bytes.NewBuffer(uploadBytes)); err != nil {
          return fmt.Errorf("io.Copy: %v", err)
      }
      if err := objectWriter.Close(); err != nil {
          return fmt.Errorf("Writer.Close: %v", err)
      }
  
      return nil
  }
  

内容的提问来源于stack exchange，提问作者cmdrk