小内存哈希大文件：10TB级文件采样哈希内存过高问题求助

内存过高的核心原因 #

• 循环内每次迭代都通过make([]byte, sampleSize)重新分配128KB的采样缓冲区：对于10TB的超大文件，会产生近1000万次内存分配，即使Go GC会回收废弃切片，也会导致内存占用持续飙升，GC压力极高，是内存异常的直接原因。
• 额外存在的逻辑bug：
  1. file.Read不保证读满整个缓冲区，可能出现单次读取数据不足128KB的情况，导致哈希计算结果不符合预期
  2. Seek操作处使用:=重新声明了局部err变量，外层的错误变量不会被赋值，Seek失败时无法被捕获，程序会继续执行得到错误的哈希值
  3. 未处理文件大小不足1MB、或者最后不足1MB的剩余块，这部分数据会被直接跳过不参与哈希计算

优化后代码 #

import (
    "crypto/md5"
    "encoding/hex"
    "io"
    "os"
)

func partialMD5Hash(filePath string) string {
    const (
        blockSize  int64 = 1024 * 1024
        sampleSize int64 = 1024 * 128
    )

    file, err := os.Open(filePath)
    if err != nil {
        return "ERROR"
    }
    defer file.Close()

    fileInfo, err := file.Stat()
    if err != nil {
        return "ERROR"
    }
    fileSize := fileInfo.Size()
    if fileSize == 0 {
        return hex.EncodeToString(md5.New().Sum(nil))
    }

    hash := md5.New()
    // 缓冲区只分配一次，循环复用
    sample := make([]byte, sampleSize)
    var offset int64 = 0

    for offset < fileSize {
        // 处理最后不足sampleSize的情况
        currentSampleSize := sampleSize
        if fileSize - offset < sampleSize {
            currentSampleSize = fileSize - offset
        }

        _, err = io.ReadFull(file, sample[:currentSampleSize])
        if err != nil && err != io.ErrUnexpectedEOF {
            return "ERROR"
        }
        hash.Write(sample[:currentSampleSize])

        offset += blockSize
        if offset >= fileSize {
            break
        }
        // 不要用:=重新声明err，避免错误被吞
        _, err = file.Seek(blockSize - currentSampleSize, io.SeekCurrent)
        if err != nil {
            return "ERROR"
        }
    }

    return hex.EncodeToString(hash.Sum(nil))
}

优化点说明 #

• 采样缓冲区移到循环外仅分配1次，内存占用固定为128KB，完全解决内存过高问题
• 使用io.ReadFull保证采样数据读满，避免出现短读问题
• 修复错误变量作用域问题，所有异常都能被正确捕获
• 增加小文件、末尾不足1MB块的兼容处理，所有文件都能得到符合预期的采样哈希结果

内容的提问来源于stack exchange，提问作者None