Go Gin API上传大文件至Azure Blob Storage遇0大小块问题

针对你遇到的大文件（超4MB）上传Azure Blob时出现0字节块的问题，结合你的上传流程和尝试过的方案，下面是核心排查点和解决办法：

核心问题排查方向 #

• 未过滤空读取操作：循环读取文件时，最后一次读取可能返回n=0（EOF前的空读取），若直接将空数据当成块上传，就会生成0字节块。
• 缓冲区数据未截断：用固定大小缓冲区读取时，最后一次读取的有效数据可能不足缓冲区大小，若直接上传整个缓冲区（包含未填充的空字节），或误传空读取的结果，都会导致无效块。
• 偏移量计算错误：WriteAt/WriteData的偏移量未正确更新，导致写入空数据到块中。
• 提交列表混入无效块ID：提交块列表时，不小心加入了未实际上传数据的块ID。

具体解决代码示例 #

针对最常见的「空读取未过滤」问题，修改分块读取逻辑，确保只上传有实际数据的块：

import (
    "bytes"
    "encoding/base64"
    "fmt"
    "io"
    "net/http"

    "github.com/gin-gonic/gin"
    "github.com/Azure/azure-sdk-for-go/sdk/storage/azblob"
)

func uploadToBlob(c *gin.Context) {
    // 获取多部分文件
    file, _, err := c.Request.FormFile("file")
    if err != nil {
        c.JSON(http.StatusBadRequest, gin.H{"error": err.Error()})
        return
    }
    defer file.Close()

    // 初始化Blob客户端（替换成你的实际初始化逻辑）
    blobClient := getBlobClient()
    ctx := c.Request.Context()
    blockIDs := []string{}
    bufSize := 4 * 1024 * 1024 // 4MB缓冲区
    buf := make([]byte, bufSize)
    offset := int64(0)

    // 循环分块读取并上传
    for {
        n, err := file.Read(buf)
        if err != nil {
            if err == io.EOF {
                break // 正常结束循环
            }
            c.JSON(http.StatusInternalServerError, gin.H{"error": err.Error()})
            return
        }
        if n == 0 {
            continue // 跳过空读取，避免生成0字节块
        }

        // 只取实际读取到的n字节数据，而非整个缓冲区
        blockData := buf[:n]
        // 生成符合Azure要求的唯一base64格式块ID
        blockID := base64.StdEncoding.EncodeToString([]byte(fmt.Sprintf("block-%d", offset)))

        // 上传块
        _, err = blobClient.UploadBlock(ctx, blockID, bytes.NewReader(blockData), nil)
        if err != nil {
            c.JSON(http.StatusInternalServerError, gin.H{"error": err.Error()})
            return
        }
        blockIDs = append(blockIDs, blockID)
        offset += int64(n)
    }

    // 提交块列表
    _, err = blobClient.CommitBlockList(ctx, blockIDs, nil)
    if err != nil {
        c.JSON(http.StatusInternalServerError, gin.H{"error": err.Error()})
        return
    }

    c.JSON(http.StatusOK, gin.H{"message": "文件上传成功"})
}

额外验证步骤 #

1. 检查WriteAt/WriteData逻辑：如果用了临时文件或内存缓冲区做中间存储，确保每次写入的是实际读取到的n字节，且偏移量offset正确累加，避免写入空数据。
2. 验证通道同步逻辑：如果用blockComplete通道保证上传时序，确保只有块上传成功且数据非空时，才将块ID加入提交列表，避免异步流程混入无效ID。
3. 确认Azure Blob规则：Azure Blob块大小范围是1字节到4000MB，块ID必须是唯一的base64字符串（长度不超过64字节），确保你的分块逻辑符合要求。

内容的提问来源于stack exchange，提问作者Dan B.