如何在Golang中实现Google Cloud Storage（GCS）分片上传？

GCS的分片上传主要有两种实现方式：使用官方Go SDK的可恢复上传（Resumable Upload）（推荐，简单可靠），以及手动处理分块上传（适合需要底层控制的场景）。以下是具体实现方案：

一、官方SDK可恢复上传（推荐） #

GCS官方Go SDK内置了可恢复上传的支持，自动处理分块、断点续传逻辑，适合大多数场景。

实现步骤与代码示例 #

1. 安装SDK依赖：

go get cloud.google.com/go/storage

2. 编写上传代码：

package main

import (
	"context"
	"fmt"
	"io"
	"os"

	"cloud.google.com/go/storage"
	"google.golang.org/api/option"
)

func main() {
	// 初始化GCS客户端
	ctx := context.Background()
	// 替换为你的服务账号密钥路径，或使用环境变量GOOGLE_APPLICATION_CREDENTIALS
	client, err := storage.NewClient(ctx, option.WithCredentialsFile("path/to/service-account-key.json"))
	if err != nil {
		fmt.Printf("初始化客户端失败: %v\n", err)
		return
	}
	defer client.Close()

	// 配置上传参数
	bucketName := "your-bucket-name"
	objectName := "large-file.bin"
	filePath := "path/to/your-large-file"

	// 打开本地文件
	file, err := os.Open(filePath)
	if err != nil {
		fmt.Printf("打开文件失败: %v\n", err)
		return
	}
	defer file.Close()

	// 获取文件大小
	fileInfo, err := file.Stat()
	if err != nil {
		fmt.Printf("获取文件信息失败: %v\n", err)
		return
	}

	// 创建可恢复上传器
	uploader := client.Bucket(bucketName).Object(objectName).NewWriter(ctx)
	uploader.ChunkSize = 8 * 1024 * 1024 // 设置分块大小为8MB（推荐范围8MB-1GB）
	uploader.Size = fileInfo.Size()      // 指定文件总大小，优化上传效率

	// 执行上传
	if _, err := file.Seek(0, 0); err != nil {
		fmt.Printf("重置文件指针失败: %v\n", err)
		return
	}

	if _, err := io.Copy(uploader, file); err != nil {
		fmt.Printf("上传文件失败: %v\n", err)
		return
	}

	// 完成上传
	if err := uploader.Close(); err != nil {
		fmt.Printf("完成上传失败: %v\n", err)
		return
	}

	fmt.Println("文件上传成功")
}

二、手动分块上传（基于XML API） #

如果需要更底层的控制，可以手动实现分块上传流程，对应你查阅的XML API文档。核心流程是：创建上传会话 → 逐个上传分块 → 完成上传。

实现步骤与代码示例 #

package main

import (
	"context"
	"fmt"
	"io"
	"os"

	"cloud.google.com/go/storage"
)

func main() {
	ctx := context.Background()
	client, err := storage.NewClient(ctx)
	if err != nil {
		fmt.Printf("初始化客户端失败: %v\n", err)
		return
	}
	defer client.Close()

	bucketName := "your-bucket-name"
	objectName := "large-file.bin"
	filePath := "path/to/your-large-file"
	chunkSize := 8 * 1024 * 1024 // 8MB分块

	// 创建分块上传会话
	bucket := client.Bucket(bucketName)
	obj := bucket.Object(objectName)
	uploadID, err := obj.CreateResumableUpload(ctx, nil)
	if err != nil {
		fmt.Printf("创建上传会话失败: %v\n", err)
		return
	}

	// 读取文件并分块上传
	file, err := os.Open(filePath)
	if err != nil {
		fmt.Printf("打开文件失败: %v\n", err)
		return
	}
	defer file.Close()

	fileInfo, err := file.Stat()
	if err != nil {
		fmt.Printf("获取文件信息失败: %v\n", err)
		return
	}
	totalSize := fileInfo.Size()
	chunkNumber := 1

	for {
		chunk := make([]byte, chunkSize)
		n, err := file.Read(chunk)
		if err != nil && err != io.EOF {
			fmt.Printf("读取分块失败: %v\n", err)
			return
		}
		if n == 0 {
			break
		}

		// 计算当前分块的范围
		start := int64((chunkNumber - 1) * chunkSize)
		end := start + int64(n) - 1
		if end >= totalSize {
			end = totalSize - 1
		}

		// 上传分块
		_, err = obj.UploadChunk(ctx, uploadID, start, end, chunk[:n])
		if err != nil {
			fmt.Printf("上传分块 %d 失败: %v\n", chunkNumber, err)
			return
		}

		fmt.Printf("分块 %d 上传成功\n", chunkNumber)
		chunkNumber++

		if end == totalSize-1 {
			break
		}
	}

	// 完成分块上传
	if err := obj.CompleteResumableUpload(ctx, uploadID); err != nil {
		fmt.Printf("完成上传失败: %v\n", err)
		return
	}

	fmt.Println("文件分块上传成功")
}

关键注意事项 #

• 分块大小限制：GCS要求每个分块（除最后一个）最小为5MB，最大为1GB，推荐使用8MB-1GB之间的大小。
• 断点续传：如果上传中断，可以通过obj.ResumableUploadStatus(ctx, uploadID)获取已上传的分块范围，从中断处继续上传。
• 权限配置：确保使用的服务账号拥有storage.objects.create权限，上传前验证权限避免失败。

内容的提问来源于stack exchange，提问作者mimi0007