使用Python脚本删除重复文件时出现“找不到文件或目录”错误的原因

出现IOError: No such file or directory的原因主要有以下几种：

• 文件已被提前删除/移动：os.walk会先遍历目录结构并缓存文件列表，但在你尝试打开文件时，该文件可能已经被系统进程、其他程序或脚本之前的操作删除/移动，导致实际路径不存在。
• 失效的符号链接：报错路径里的/Users/ebbyrandall/myPython/env/bin/python3很可能是一个软链接，它指向的原始文件已经被删除或移动，os.walk会把软链接当作普通文件列入遍历列表，但打开时会因为链接失效报错。
• 权限或系统保护：部分系统文件（比如虚拟环境中的二进制文件）可能被系统或权限机制保护，实际无法访问，也会触发类似找不到文件的错误。

修复后的脚本 #

可以在代码中加入文件存在性检查和异常捕获，避免脚本崩溃：

import os
import hashlib

dir_path = "/Users/ebbyrandall"
files_dict = {}

for root, dirs, files in os.walk(dir_path):
    for file in files:
        file_path = os.path.join(root, file)
        # 先检查文件是否存在，跳过符号链接（可选）
        if not os.path.exists(file_path) or os.path.islink(file_path):
            continue
        try:
            with open(file_path, "rb") as f:
                # 大文件分块计算哈希，避免内存溢出
                file_hash = hashlib.md5()
                while chunk := f.read(4096):
                    file_hash.update(chunk)
                file_hash = file_hash.hexdigest()
                
                if file_hash not in files_dict:
                    files_dict[file_hash] = file_path
                else:
                    os.remove(file_path)
        except (PermissionError, IOError) as e:
            print(f"无法处理文件 {file_path}: {str(e)}")

额外提示 #

• 避免直接遍历整个用户目录，缩小扫描范围到你确定有重复文件的文件夹，减少系统文件干扰。
• 大文件不要一次性读取全部内容，分块计算哈希更高效且不会占用过多内存。
• 执行删除操作前，建议先注释掉os.remove(file_path)，改为打印重复文件路径，确认无误后再执行删除。

内容的提问来源于stack exchange，提问作者edwrand