Python3.7 使用multiprocessing Pool统计目录大小时触发TypeError序列化错误
multiprocessing 进程池在 spawn 启动模式(Windows系统默认、新版macOS默认)下,所有传递给子进程的内容都必须经过pickle序列化才能跨进程传输。
你传给pool.map的self._count是绑定到类实例的实例方法,pickle序列化这类绑定方法时,不会单独打包方法逻辑,而是会连带把整个所属的类实例self一起序列化传输。
报错的cannot serialize '_io.TextIOWrapper' object,本质是你的类实例self本身持有了不可序列化的对象(比如打开的文件句柄、也就是_io.TextIOWrapper类型的属性)。这和你_count方法内部的逻辑无关——因为报错发生在序列化待执行任务的阶段,根本没走到子进程启动、进入_count函数执行的步骤,所以你打在_count首行的断点永远不会触发,哪怕把_count内部的self引用全部改成硬编码值也没用。
方案1:拆分离线可序列化的全局worker函数
不要直接把依赖self状态的类实例方法传给进程池,把_count的核心逻辑抽成不绑定类的顶层全局函数,把需要用到的配置(文件分类列表、文件类型判断规则)作为可序列化的参数单独传递:
def _sum_dicts(dict_list): # 把原有的同键字典聚合逻辑也抽成独立全局函数 result = {} for d in dict_list: for k, v in d.items(): result[k] = result.get(k, 0) + v return result def _count_worker(path, categories, file_type_mapper): stats = dict.fromkeys(categories, 0) try: dir_list = os.listdir(path) except: return stats for element in dir_list: new_path = os.path.join(path, element) if os.path.isdir(new_path): # 递归逻辑直接调用全局函数即可,不需要依赖类实例 add_stats = _count_worker(new_path, categories, file_type_mapper) stats = _sum_dicts([stats, add_stats]) else: file_type = file_type_mapper(element) try: size = os.path.getsize(new_path) except: continue stats[file_type] += size return stats
调用进程池时用starmap传递多参数,完全绕开对self的序列化:
with Pool(processes=number_of_threats) as pool: # 构造每个任务的参数元组,全部用基础可序列化类型 task_args = [ (dir_path, self._categories, self._get_file_type_serializable) for dir_path in dirs ] res = pool.starmap(_count_worker, task_args) self._stats = self._sum_dicts(res)
注意这里的_get_file_type_serializable要改成纯函数实现,比如基于文件后缀匹配分类的逻辑,不要保留任何对类实例状态的依赖,否则同样会触发序列化报错。
方案2:利用进程池初始化钩子减少重复传参
如果不想每次任务都带一整套配置参数,可以用Pool的初始化回调,在每个工作进程启动时只传一次配置,存在子进程的全局空间供所有任务复用:
# 子进程内的全局存储区 _worker_ctx = {} def _init_worker(categories, file_type_mapper): # 每个子进程启动时仅执行一次,把配置加载到全局空间 global _worker_ctx _worker_ctx['categories'] = categories _worker_ctx['file_type_mapper'] = file_type_mapper def _count_worker(path): # worker函数完全不依赖外部实例,直接读子进程内的全局配置 stats = dict.fromkeys(_worker_ctx['categories'], 0) # 把原_count的逻辑原封不动搬进来即可 try: dir_list = os.listdir(path) except: return stats for element in dir_list: new_path = os.path.join(path, element) if os.path.isdir(new_path): add_stats = _count_worker(new_path) stats = _sum_dicts([stats, add_stats]) else: file_type = _worker_ctx['file_type_mapper'](element) try: size = os.path.getsize(new_path) except: continue stats[file_type] += size return stats
调用时给Pool传入初始化逻辑:
with Pool( processes=number_of_threats, initializer=_init_worker, initargs=(self._categories, self._get_file_type_serializable) ) as pool: res = pool.map(_count_worker, dirs)
这种方式不需要序列化传递整个self,仅在子进程启动时传一次可序列化的配置,跨进程的传输开销最小。
方案3:清理类实例的不可序列化属性(不推荐)
如果坚持要直接传绑定的类实例方法,可以排查类实例的所有属性,移除所有类似打开的文件句柄、网络连接、线程锁这类不可pickle的对象,仅保留可序列化的基础类型属性。
这种方式维护成本极高,后续只要在类中新增任何带不可序列化对象的属性,程序就会再次崩溃,不建议采用。
额外性能提示
当前实现把每一层的子目录都丢给进程池调度,会产生不必要的进程切换开销。更优的拆分方式是:只把固定深度(比如2-3层)的目标目录作为任务提交给进程池,每个worker拿到任务后自己递归遍历所有下属子文件,避免在每一层递归时都触发进程池调度。
内容的提问来源于stack exchange,提问作者Ulle

