You need to enable JavaScript to run this app. Python3.7 使用multiprocessing Pool统计目录大小时触发TypeError序列化错误
优惠活动
大模型
产品
解决方案
定价
更多

Python3.7 使用multiprocessing Pool统计目录大小时触发TypeError序列化错误

问题根本原因

multiprocessing 进程池在 spawn 启动模式(Windows系统默认、新版macOS默认)下,所有传递给子进程的内容都必须经过pickle序列化才能跨进程传输。
你传给pool.map的self._count是绑定到类实例的实例方法,pickle序列化这类绑定方法时,不会单独打包方法逻辑,而是会连带把整个所属的类实例self一起序列化传输。
报错的cannot serialize '_io.TextIOWrapper' object,本质是你的类实例self本身持有了不可序列化的对象(比如打开的文件句柄、也就是_io.TextIOWrapper类型的属性)。这和你_count方法内部的逻辑无关——因为报错发生在序列化待执行任务的阶段,根本没走到子进程启动、进入_count函数执行的步骤,所以你打在_count首行的断点永远不会触发,哪怕把_count内部的self引用全部改成硬编码值也没用。

修复方案

方案1:拆分离线可序列化的全局worker函数

不要直接把依赖self状态的类实例方法传给进程池,把_count的核心逻辑抽成不绑定类的顶层全局函数,把需要用到的配置(文件分类列表、文件类型判断规则)作为可序列化的参数单独传递:

def _sum_dicts(dict_list):
    # 把原有的同键字典聚合逻辑也抽成独立全局函数
    result = {}
    for d in dict_list:
        for k, v in d.items():
            result[k] = result.get(k, 0) + v
    return result

def _count_worker(path, categories, file_type_mapper):
    stats = dict.fromkeys(categories, 0)
    try:
        dir_list = os.listdir(path)
    except:
        return stats
    for element in dir_list:
        new_path = os.path.join(path, element)
        if os.path.isdir(new_path):
            # 递归逻辑直接调用全局函数即可,不需要依赖类实例
            add_stats = _count_worker(new_path, categories, file_type_mapper)
            stats = _sum_dicts([stats, add_stats])
        else:
            file_type = file_type_mapper(element)
            try:
                size = os.path.getsize(new_path)
            except:
                continue
            stats[file_type] += size
    return stats

调用进程池时用starmap传递多参数,完全绕开对self的序列化:

with Pool(processes=number_of_threats) as pool:
    # 构造每个任务的参数元组,全部用基础可序列化类型
    task_args = [
        (dir_path, self._categories, self._get_file_type_serializable)
        for dir_path in dirs
    ]
    res = pool.starmap(_count_worker, task_args)
self._stats = self._sum_dicts(res)

注意这里的_get_file_type_serializable要改成纯函数实现,比如基于文件后缀匹配分类的逻辑,不要保留任何对类实例状态的依赖,否则同样会触发序列化报错。

方案2:利用进程池初始化钩子减少重复传参

如果不想每次任务都带一整套配置参数,可以用Pool的初始化回调,在每个工作进程启动时只传一次配置,存在子进程的全局空间供所有任务复用:

# 子进程内的全局存储区
_worker_ctx = {}

def _init_worker(categories, file_type_mapper):
    # 每个子进程启动时仅执行一次,把配置加载到全局空间
    global _worker_ctx
    _worker_ctx['categories'] = categories
    _worker_ctx['file_type_mapper'] = file_type_mapper

def _count_worker(path):
    # worker函数完全不依赖外部实例,直接读子进程内的全局配置
    stats = dict.fromkeys(_worker_ctx['categories'], 0)
    # 把原_count的逻辑原封不动搬进来即可
    try:
        dir_list = os.listdir(path)
    except:
        return stats
    for element in dir_list:
        new_path = os.path.join(path, element)
        if os.path.isdir(new_path):
            add_stats = _count_worker(new_path)
            stats = _sum_dicts([stats, add_stats])
        else:
            file_type = _worker_ctx['file_type_mapper'](element)
            try:
                size = os.path.getsize(new_path)
            except:
                continue
            stats[file_type] += size
    return stats

调用时给Pool传入初始化逻辑:

with Pool(
    processes=number_of_threats,
    initializer=_init_worker,
    initargs=(self._categories, self._get_file_type_serializable)
) as pool:
    res = pool.map(_count_worker, dirs)

这种方式不需要序列化传递整个self,仅在子进程启动时传一次可序列化的配置,跨进程的传输开销最小。

方案3:清理类实例的不可序列化属性(不推荐)

如果坚持要直接传绑定的类实例方法,可以排查类实例的所有属性,移除所有类似打开的文件句柄、网络连接、线程锁这类不可pickle的对象,仅保留可序列化的基础类型属性。
这种方式维护成本极高,后续只要在类中新增任何带不可序列化对象的属性,程序就会再次崩溃,不建议采用。

额外性能提示

当前实现把每一层的子目录都丢给进程池调度,会产生不必要的进程切换开销。更优的拆分方式是:只把固定深度(比如2-3层)的目标目录作为任务提交给进程池,每个worker拿到任务后自己递归遍历所有下属子文件,避免在每一层递归时都触发进程池调度。

内容的提问来源于stack exchange,提问作者Ulle

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 01:06:05