为何Go的zip函数处理超3GB目录会生成内容为空的归档文件？

问题描述 #

编写了ZipDirectory函数用于压缩目录（包含子目录和文件）为ZIP归档，但当目录总大小超过3GB时，生成的归档文件大小与预期一致，但解压后内容为空。

原代码如下：

import (
    "archive/zip"
    "fmt"
    "io"
    "os"
    "path/filepath"
)

func ZipDirectory(backupName string) error {
    file, err := os.Create(backupName)
    if err != nil {
        return err
    }
    defer file.Close()

    w := zip.NewWriter(file)
    defer w.Close()

    walker := func(path string, info os.FileInfo, err error) error {
        if err != nil {
            return err
        }
        if info.IsDir() {
            return nil
        }

        file, err := os.Open(path)
        if err != nil {
            return fmt.Errorf("error opening file %q: %w", path, err)
        }
        defer file.Close()

        f, err := w.Create(path)
        if err != nil {
            return fmt.Errorf("error creating file %q: %w", path, err)
        }

        _, err = io.Copy(f, file)
        if err != nil {
            return fmt.Errorf("error copying file %q: %w", path, err)
        }

        return nil
    }
    err = filepath.Walk(config.FilePath, walker)
    if err != nil {
        return err
    }
    return nil
}

问题原因 #

1. 未捕获zip.Writer.Close()的错误：
   ZIP归档的核心结构（中央目录）是在zip.Writer.Close()时写入的。当处理大目录时，写入中央目录可能触发IO错误（如磁盘空间不足、写入缓存异常等），但原代码通过defer w.Close()直接调用，未检查返回的错误，导致中央目录未写入，归档结构损坏，解压工具无法识别内容。

2. 使用绝对路径作为ZIP内文件名：
   原代码直接用文件的绝对路径创建ZIP内的文件条目，部分解压工具会将文件写入系统绝对路径而非当前解压目录，造成“内容为空”的错觉。

解决方法 #

修改代码，捕获zip.Writer.Close()的错误，并使用相对路径生成ZIP内的文件条目：

import (
    "archive/zip"
    "fmt"
    "io"
    "os"
    "path/filepath"
)

func ZipDirectory(backupName string) error {
    file, err := os.Create(backupName)
    if err != nil {
        return fmt.Errorf("failed to create archive file: %w", err)
    }

    var writerCloseErr error
    w := zip.NewWriter(file)
    // 先关闭zip writer，再关闭底层文件，捕获所有关闭错误
    defer func() {
        if err := w.Close(); err != nil {
            writerCloseErr = fmt.Errorf("failed to close zip writer: %w", err)
        }
        if err := file.Close(); err != nil && writerCloseErr == nil {
            writerCloseErr = fmt.Errorf("failed to close archive file: %w", err)
        }
    }()

    walker := func(path string, info os.FileInfo, err error) error {
        if err != nil {
            return fmt.Errorf("walk error at %q: %w", path, err)
        }

        if info.IsDir() {
            // 可选：在ZIP中创建目录条目，保持目录结构（解压时会自动创建，但显式创建更规范）
            relDir, err := filepath.Rel(config.FilePath, path)
            if err != nil {
                return fmt.Errorf("failed to get relative path for dir %q: %w", path, err)
            }
            if relDir != "." {
                _, err := w.Create(relDir + "/")
                if err != nil {
                    return fmt.Errorf("failed to create dir entry %q: %w", relDir, err)
                }
            }
            return nil
        }

        file, err := os.Open(path)
        if err != nil {
            return fmt.Errorf("failed to open file %q: %w", path, err)
        }
        defer file.Close()

        // 生成相对于目标目录的路径，避免绝对路径问题
        relPath, err := filepath.Rel(config.FilePath, path)
        if err != nil {
            return fmt.Errorf("failed to get relative path for %q: %w", path, err)
        }

        f, err := w.Create(relPath)
        if err != nil {
            return fmt.Errorf("failed to create entry for %q: %w", relPath, err)
        }

        _, err = io.Copy(f, file)
        if err != nil {
            return fmt.Errorf("failed to copy data for %q: %w", relPath, err)
        }

        return nil
    }

    err = filepath.Walk(config.FilePath, walker)
    if err != nil {
        return err
    }

    // 返回关闭阶段的错误
    if writerCloseErr != nil {
        return writerCloseErr
    }

    return nil
}

关键修改点 #

• 新增错误捕获逻辑，确保zip.Writer和底层文件关闭时的错误被返回，避免因中央目录未写入导致的归档损坏。
• 使用filepath.Rel获取文件相对于目标目录的路径，生成ZIP内的条目路径，解决绝对路径导致的解压位置异常问题。
• 可选：显式创建ZIP内的目录条目，保持目录结构的规范性。

内容的提问来源于stack exchange，提问作者Allo