多进程传递Redis实例报cannot pickle '_thread.lock'错误如何解决
报错原因
- Python
multiprocessing启动子进程时,所有传递给子进程的参数都需要经过pickle序列化处理,而你在主进程创建的redis.StrictRedis实例内部持有不可序列化的_thread.lock线程锁对象,直接作为参数传递时就会触发该报错。 - 即便在支持fork模式的Linux/macOS系统下,跨进程共享Redis连接实例也会出现文件描述符冲突、连接状态异常等问题,本身就属于不推荐的用法。
可行解决方案
方案1:子进程内独立创建Redis连接(最推荐)
不要在主进程创建Redis连接并传递给子进程,改为在子进程的执行函数内部单独创建连接,完全规避序列化问题,同时每个子进程持有独立连接也不会出现资源冲突。
同时可搭配Redis Pipeline批量提交逻辑,大幅提升百万级数据的插入效率,修改后代码如下:
from multiprocessing import Process, Queue import redis def insertintoRedis(df, q): # 子进程内部单独创建Redis连接 r = redis.StrictRedis(host='localhost', port=6379, db=0) # 开启非事务管道,每1000条批量提交一次 pipe = r.pipeline(transaction=False) batch_size = 1000 total = 0 for row in df.values: pipe.hset(row[-5], row[0], row[-4]) total += 1 if total % batch_size == 0: pipe.execute() pipe = r.pipeline(transaction=False) # 提交剩余批次数据 if total % batch_size != 0: pipe.execute() q.put(total) return if __name__ == '__main__': # df1、df2为你提前拆分好的子DataFrame q = Queue() p1 = Process(target=insertintoRedis, args=(df1, q)) p2 = Process(target=insertintoRedis, args=(df2, q)) p1.start() p2.start() # 读取子进程返回的插入结果 for _ in range(2): print(f"子进程插入完成,条数:{q.get()}") p1.join() p2.join()
额外注意事项
- 多进程启动逻辑必须放在
if __name__ == '__main__'代码块下,避免Windows系统下出现进程无限递归启动的问题 - 如果子DataFrame体积过大,作为参数传递时也会产生较高序列化开销,可先将拆分后的子DataFrame写入本地临时parquet/csv文件,子进程内部自行读取加载,进一步降低主进程压力
方案2:传递连接配置而非实例
如果需要统一管理Redis连接配置,可在主进程将host、port、db等连接参数封装为字典传递给子进程,子进程用传入的参数创建连接,本质和方案1逻辑一致,适合多环境部署场景。
内容的提问来源于stack exchange,提问作者Amir Mallick
相关产品推荐
相关产品推荐

