Go文件上传器：能否边写入磁盘边计算MD5并将MD5作为文件名？

当然可以在将文件写入磁盘的同时计算MD5值，这正是最高效的实现方式——省去了先写入临时文件、再重新读取计算哈希的额外IO操作，同时能保证文件处理的原子性。下面是优化后的完整代码，我会重点标记关键改进点：

import (
    "crypto/md5"
    "encoding/hex"
    "io"
    "net/http"
    "os"
    "path/filepath"
)

func uploadHandler(w http.ResponseWriter, r *http.Request) {
    const maxSize = 10 << 20 // 示例：限制10MB

    // 获取multipart阅读器，必须处理错误
    reader, err := r.MultipartReader()
    if err != nil {
        http.Error(w, "获取multipart阅读器失败", http.StatusBadRequest)
        return
    }

    // 获取上传的文件部分，处理错误
    part, err := reader.NextPart()
    if err != nil {
        http.Error(w, "获取文件分片失败", http.StatusBadRequest)
        return
    }
    defer part.Close()

    // 创建临时文件，先写入临时路径，避免计算过程中留下无效文件
    tempFile, err := os.CreateTemp("./", "upload_*.tmp")
    if err != nil {
        http.Error(w, "创建临时文件失败", http.StatusInternalServerError)
        return
    }
    defer func() {
        tempFile.Close()
        // 无论成功失败，最终清理未被重命名的临时文件
        os.Remove(tempFile.Name())
    }()

    // 初始化MD5哈希计算器
    hash := md5.New()

    // 使用io.TeeReader：读取文件数据流的同时，将数据同步写入哈希计算器
    // 实现"一次写入，同时计算MD5"的效果
    teeReader := io.TeeReader(io.LimitReader(part, maxSize+1), hash)

    // 将数据写入临时文件
    written, err := io.Copy(tempFile, teeReader)
    if err != nil {
        http.Error(w, "写入文件失败", http.StatusInternalServerError)
        return
    }

    // 检查文件大小是否超出限制
    if written > maxSize {
        http.Error(w, "文件大小超出限制", http.StatusRequestEntityTooLarge)
        return
    }

    // 将MD5二进制值转成32位十六进制字符串（作为文件名）
    md5Str := hex.EncodeToString(hash.Sum(nil))
    // 可选：保留原文件后缀，比如从part.FileName()提取
    // ext := filepath.Ext(part.FileName())
    // destPath := "./" + md5Str + ext
    destPath := "./" + md5Str

    // 原子性重命名临时文件为MD5文件名（同一文件系统下是原子操作，保证数据完整性）
    if err := os.Rename(tempFile.Name(), destPath); err != nil {
        http.Error(w, "重命名文件失败", http.StatusInternalServerError)
        return
    }

    w.WriteHeader(http.StatusOK)
    w.Write([]byte("文件上传成功，MD5: " + md5Str))
}

关键细节解释： #

• io.TeeReader的核心作用：这个工具会把读取到的每一份数据，同时写入到第二个参数（这里是MD5哈希器的Writer），实现了"一次读取，双重输出"，完美解决边写边算哈希的需求。
• 临时文件的使用：先写入临时文件而不是直接用MD5命名，是为了避免写入过程中出现错误（比如磁盘满、网络中断）时，留下无效的MD5命名文件。只有当写入完成、大小校验通过后，才通过os.Rename原子性地改成目标文件名，保证数据完整性。
• 错误处理：你原来的代码忽略了所有错误，实际生产环境中必须处理这些错误，否则会出现各种难以排查的问题（比如文件创建失败却继续执行、写入中断却没清理临时文件等）。
• MD5字符串转换：md5.Sum(nil)返回的是16字节的二进制数据，用hex.EncodeToString转成32位的十六进制字符串，这是最常用的MD5文件名格式。如果需要保留原文件后缀，可以从part.FileName()中提取后缀拼接上去。

为什么这是最优方案？ #

相比"先写临时文件→读取文件计算MD5→重命名"的流程，这个方案只做了一次IO写入操作，节省了磁盘IO开销，尤其是对于大文件来说，性能提升非常明显。同时原子重命名的操作也保证了文件存储的可靠性。

内容的提问来源于stack exchange，提问作者Klimbo