如何改造Go代码实现文件直传Google Cloud Storage的REST API？

问题背景 #

原本的代码仅支持读取本地文件上传至Google Cloud Storage（GCS），现在需要封装为REST API，实现客户端文件直接传输至GCS，无需先存储到服务器本地。

核心改造思路 #

将原本依赖本地文件路径的逻辑，改为直接接收HTTP请求的数据流（io.Reader），跳过服务器本地存储环节，直接把客户端上传的数据流转发给GCS的写入器。

具体改造步骤与代码示例 #

1. 重构上传核心函数 #

修改上传逻辑，将输入参数从本地文件路径改为io.Reader，使其能够处理任意数据流：

import (
    "context"
    "fmt"
    "io"
    "time"
    "cloud.google.com/go/storage"
    "google.golang.org/api/option"
)

// 重构后的上传函数：接收数据流而非本地文件路径
func uploadFromReader(bucket string, data io.Reader, destFilePath string) error {
    // 建议提前在系统环境变量配置GOOGLE_APPLICATION_CREDENTIALS，避免重复设置
    ctx := context.Background()
    // 也可通过option.WithCredentialsFile直接指定凭据文件路径
    client, err := storage.NewClient(ctx, option.WithCredentialsFile("./credential.json"))
    if err != nil {
        return fmt.Errorf("storage.NewClient: %v", err)
    }
    defer client.Close()

    ctx, cancel := context.WithTimeout(ctx, time.Second*50)
    defer cancel()

    o := client.Bucket(bucket).Object(destFilePath)
    o = o.If(storage.Conditions{DoesNotExist: true})
    
    wc := o.NewWriter(ctx)
    if _, err = io.Copy(wc, data); err != nil {
        return fmt.Errorf("io.Copy: %v", err)
    }
    if err := wc.Close(); err != nil {
        return fmt.Errorf("Writer.Close: %v", err)
    }
    return nil
}

2. 编写HTTP API Handler #

使用Go标准库net/http实现两种常见的文件上传接口：

场景1：二进制文件直传（指定GCS目标路径）

适合客户端直接上传二进制数据，通过URL参数指定存储桶和目标路径：

import (
    "net/http"
    "fmt"
)

func uploadHandler(w http.ResponseWriter, r *http.Request) {
    if r.Method != http.MethodPost {
        w.WriteHeader(http.StatusMethodNotAllowed)
        fmt.Fprintf(w, "仅支持POST请求")
        return
    }

    // 从URL参数获取必要信息
    bucket := r.URL.Query().Get("bucket")
    destPath := r.URL.Query().Get("dest_path")
    if bucket == "" || destPath == "" {
        w.WriteHeader(http.StatusBadRequest)
        fmt.Fprintf(w, "缺少必要参数：bucket和dest_path")
        return
    }

    // 直接将请求body转发至GCS
    err := uploadFromReader(bucket, r.Body, destPath)
    if err != nil {
        w.WriteHeader(http.StatusInternalServerError)
        fmt.Fprintf(w, "上传失败：%v", err)
        return
    }

    w.WriteHeader(http.StatusOK)
    fmt.Fprintf(w, "文件已成功上传至GCS路径：%s", destPath)
}

场景2：表单文件上传（支持网页/客户端表单）

处理multipart/form-data格式的表单上传，适合常规网页表单场景：

import (
    "net/http"
    "fmt"
)

func formUploadHandler(w http.ResponseWriter, r *http.Request) {
    if r.Method != http.MethodPost {
        w.WriteHeader(http.StatusMethodNotAllowed)
        fmt.Fprintf(w, "仅支持POST请求")
        return
    }

    // 解析表单，限制最大上传大小（示例为10MB）
    err := r.ParseMultipartForm(10 << 20)
    if err != nil {
        w.WriteHeader(http.StatusBadRequest)
        fmt.Fprintf(w, "解析表单失败：%v", err)
        return
    }

    bucket := r.FormValue("bucket")
    destPath := r.FormValue("dest_path")
    if bucket == "" || destPath == "" {
        w.WriteHeader(http.StatusBadRequest)
        fmt.Fprintf(w, "缺少必要参数：bucket和dest_path")
        return
    }

    // 获取表单中的文件
    file, _, err := r.FormFile("file")
    if err != nil {
        w.WriteHeader(http.StatusBadRequest)
        fmt.Fprintf(w, "获取文件失败：%v", err)
        return
    }
    defer file.Close()

    // 上传至GCS
    err = uploadFromReader(bucket, file, destPath)
    if err != nil {
        w.WriteHeader(http.StatusInternalServerError)
        fmt.Fprintf(w, "上传失败：%v", err)
        return
    }

    w.WriteHeader(http.StatusOK)
    fmt.Fprintf(w, "文件已成功上传至GCS路径：%s", destPath)
}

3. 启动HTTP服务 #

在main函数中注册接口并启动服务：

func main() {
    // 注册二进制上传接口
    http.HandleFunc("/upload", uploadHandler)
    // 注册表单上传接口
    http.HandleFunc("/upload-form", formUploadHandler)

    fmt.Println("服务器启动在 :8080 端口")
    err := http.ListenAndServe(":8080", nil)
    if err != nil {
        fmt.Printf("服务器启动失败：%v", err)
    }
}

关键注意事项 #

• 凭据管理：优先通过系统环境变量配置GOOGLE_APPLICATION_CREDENTIALS，避免在代码中硬编码路径。
• 请求限制：处理表单上传时务必设置合理的大小限制，防止恶意请求耗尽服务器内存。
• 超时控制：保留GCS上传的超时逻辑，避免服务长时间阻塞。
• 错误反馈：完善HTTP响应的错误码和提示信息，方便客户端排查问题。

内容的提问来源于stack exchange，提问作者CaTx