Django中pandas多进程报can't pickle _thread.RLock错误排查

算力阿峰

2026-8-29

问题根因

报错本质是Python标准库multiprocessing传递任务到子进程时，会对所有传入参数做pickle序列化，而_thread.RLock线程可重入锁不支持序列化，直接抛出异常。
直接触发点：你传入子进程的logger日志对象内部为了保证多线程写入安全，自带RLock锁实例，属于不可序列化对象。Django请求上下文关联的线程锁、嵌套定义的处理函数闭包引用的上下文对象，也会触发同类错误。
原代码还存在两处逻辑错误，就算解决序列化问题也跑不出正确结果：
- 参数传递错误：你把param定义为[df_data, version, logger]，pool.map会遍历这个列表把三个元素依次单独传给处理函数，相当于三次调用分别传DataFrame、版本号、logger，根本不是“给每个任务传三个参数”的预期效果。
- 进程池重复创建：你在遍历分片的循环内部反复创建4进程池，4个分片会重复初始化4次进程池，属于严重的资源浪费，逻辑完全错误。

适配修复方案

核心原则：所有带线程锁、无法序列化的对象（logger、Django request对象、数据库连接、打开的文件句柄等）一律不要从主进程传入子进程，全部在子进程内部初始化。
修正参数传递逻辑：用zip拼接分片数据和固定参数，保证pool.map每次传入的是单个任务的完整参数。
进程池全局只初始化一次，不要在循环内重复创建。
处理函数必须定义在模块顶层，不要嵌套在Django视图函数或其他内部函数里，避免闭包引用不可序列化的上下文。
Windows环境下多进程代码必须确保主模块逻辑受if __name__ == "__main__":保护，避免子进程递归启动。

修复后的可运行代码示例：

import pandas as pd
import numpy as np
import multiprocessing as mp
from itertools import repeat
import logging

# 注意：处理函数必须写在模块顶层，不能嵌套在其他函数内部
def run_comorb_mapping(task_args):
    df_shard, version = task_args
    # 日志实例在子进程内部单独初始化，不要传入主进程的logger
    logger = logging.getLogger("ahrq_comorb")
    # 此处保留你原有的DataFrame映射处理逻辑
    # 示例逻辑：处理完成后返回分片结果
    return processed_shard_df

def trigger_ahrq_process(input_file, columns, version):
    df = pd.read_csv(input_file, dtype=str, names=columns)
    df_split = np.array_split(df, 4)
    # 构建任务参数列表：每个元素为(分片DataFrame, 版本号)
    task_list = zip(df_split, repeat(version))
    
    # 进程池仅初始化一次，进程数和分片数对齐
    with mp.Pool(processes=4) as pool:
        out_df_lst = pool.map(run_comorb_mapping, task_list)
    
    final_df = pd.concat(out_df_lst, ignore_index=True)
    return final_df

若按上述调整后仍有序列化相关报错，可以替换标准库multiprocessing为第三方库multiprocess，该库用dill作为序列化后端，支持绝大多数Python对象的序列化，替换时仅需将导入语句改为import multiprocess as mp，其余业务逻辑无需修改。

内容的提问来源于stack exchange，提问作者Arcanesaw