Python哈希文件夹内容触发内存错误求助（Robot Framework+Python2.7）

看起来你在做文件夹哈希校验的自动化测试时碰到了内存瓶颈——这种情况在处理大量大文件时特别常见，尤其是用Python2.7这种对内存管理比较“古板”的版本。结合你的场景，我给你几个实用的解决方案：

1. 分块读取文件计算哈希（必试优化） #

绝大多数内存错误都是因为一次性把整个大文件加载到内存里计算哈希导致的。改成分块读取的话，不管文件多大，内存占用都能控制在几KB的级别。

你可以写一个兼容Python2.7的自定义库，比如FileHashLib.py：

import hashlib

def get_file_hash(file_path, hash_algorithm='md5', chunk_size=4096):
    """分块计算文件哈希，支持MD5/SHA1等算法"""
    hash_func = getattr(hashlib, hash_algorithm)()
    with open(file_path, 'rb') as f:
        chunk = f.read(chunk_size)
        while chunk:
            hash_func.update(chunk)
            chunk = f.read(chunk_size)
    return hash_func.hexdigest()

然后在Robot Framework测试用例里导入这个库，用Get File Hash关键字替代原来一次性读取文件的哈希计算方式。我之前用这个方法解决过几个GB大文件的哈希校验内存问题，亲测有效。

2. 边计算边对比，不要缓存所有哈希结果 #

如果你之前是先把本地所有文件的哈希存在一个大字典里，再把服务器所有文件的哈希也存起来对比，那内存里会同时存两份完整的哈希列表，文件多的话很容易爆内存。

改成逐个文件验证的逻辑：

• 先遍历本地文件夹，生成所有文件的相对路径列表（保持和服务器文件夹的路径结构一致）
• 对每个文件路径：
  1. 计算本地文件的哈希
  2. 请求服务器获取对应文件的哈希（或者让服务器端提供单个文件的哈希查询接口）
  3. 直接对比两个哈希值，记录结果后立刻丢弃当前的哈希数据
     这样内存里只会保留当前处理的文件信息，不会累积大量数据。

3. 切换到64位Python2.7 #

如果你当前用的是32位Python2.7，它的内存上限只有2GB左右，处理大量文件时很容易触顶。换成64位的Python2.7（虽然官方停更了，但网上还能找到安装包），可以突破这个限制，利用系统的更多内存资源。这一步对32位环境的用户来说效果立竿见影。

4. 排查内存泄漏点 #

如果以上方法都没用，你可以用Python2.7兼容的工具定位内存占用高的环节：

• 安装memory-profiler（pip install memory-profiler），给哈希计算函数加上@profile装饰器，运行后查看每一行的内存占用
• 用psutil库（pip install psutil）在Robot Framework的关键步骤中打印当前进程的内存使用情况：

  import psutil
  def print_current_memory():
      mem = psutil.Process().memory_info().rss / (1024*1024)
      print("当前内存占用：%.2f MB" % mem)
  

  把这个函数作为关键字加到测试用例里，就能找到内存飙升的具体步骤。

小提示 #

• 处理文件时一定要用with语句，确保文件句柄被正确关闭，避免隐性的内存泄漏
• 如果服务器上的文件夹非常大，不要一次性下载所有文件，而是按需下载单个文件验证哈希，验证完就删除，进一步减少本地磁盘和内存压力

内容的提问来源于stack exchange，提问作者Nich