如何在Golang中通过Multipart FormData分块读取Zip文件

问题根源 #

你遇到的错误核心原因是：Zip文件是具有完整结构的归档格式，包含文件条目数据和尾部的全局目录，仅读取8KB的部分数据，这部分内容并非完整的Zip文件，zip.NewReader无法识别这种不完整的结构，因此抛出无效Zip的错误。

同时你的代码逻辑存在明显漏洞：没有循环读取所有上传块，仅读取一次8KB就尝试解析，即便上传的Zip文件小于8KB，这种用部分数据解析Zip的思路本身就不成立。

正确实现思路 #

处理大Zip文件上传的正确方式是：先接收并保存完整的Zip文件（可使用临时文件避免内存溢出），再对完整的Zip文件进行解析和内容提取，而非试图用部分块直接解析。

修正后的代码 #

package main

import (
    "archive/zip"
    "io"
    "mime/multipart"
    "net/http"
    "os"

    "github.com/labstack/echo/v4"
)

func main() {
    e := echo.New()
    e.POST("/upload", uploadHandler)
    e.Logger.Fatal(e.Start(":8080"))
}

func uploadHandler(c echo.Context) error {
    // 读取表单数据
    form, err := c.MultipartForm()
    if err != nil {
        return err
    }

    fileHeaders := form.File["zipFile"]
    if len(fileHeaders) == 0 {
        return c.String(http.StatusBadRequest, "No file uploaded")
    }

    // 打开上传的文件
    uploadedFile, err := fileHeaders[0].Open()
    if err != nil {
        return err
    }
    defer uploadedFile.Close()

    // 创建临时文件保存完整的上传Zip
    tempFile, err := os.CreateTemp("", "upload-*.zip")
    if err != nil {
        return err
    }
    defer func() {
        tempFile.Close()
        os.Remove(tempFile.Name()) // 处理完成后清理临时文件
    }()

    // 将上传文件完整写入临时文件
    _, err = io.Copy(tempFile, uploadedFile)
    if err != nil {
        return err
    }
    // 重置文件指针到起始位置
    if _, err = tempFile.Seek(0, io.SeekStart); err != nil {
        return err
    }

    // 获取临时文件大小
    fileInfo, err := tempFile.Stat()
    if err != nil {
        return err
    }

    // 创建Zip读取器（此时处理的是完整Zip文件）
    zipReader, err := zip.NewReader(tempFile, fileInfo.Size())
    if err != nil {
        return err
    }

    // 创建输出Zip文件
    outFile, err := os.Create("extracted.zip")
    if err != nil {
        return err
    }
    defer outFile.Close()

    zipWriter := zip.NewWriter(outFile)
    defer zipWriter.Close()

    // 遍历Zip中的每个文件
    for _, f := range zipReader.File {
        // 打开Zip内的文件
        rc, err := f.Open()
        if err != nil {
            return err
        }
        // 及时关闭资源，避免泄漏
        defer rc.Close()

        // 在输出Zip中创建对应文件
        destFile, err := zipWriter.Create(f.Name)
        if err != nil {
            return err
        }

        // 复制文件内容到输出Zip
        _, err = io.Copy(destFile, rc)
        if err != nil {
            return err
        }
    }

    return c.String(http.StatusOK, "Files extracted and written to extracted.zip")
}

额外说明 #

• 代码通过临时文件保存完整的上传Zip，确保zip.NewReader能解析完整的Zip结构；
• 若上传的Zip文件极大，可考虑使用第三方支持流式解析Zip的库（Go标准库archive/zip因Zip目录在尾部的特性，无法实现真正的流式解析）；
• 修正了原代码中缺失循环、资源泄漏的问题。

内容的提问来源于stack exchange，提问作者Kamal Kant