Python中如何解决Future回调的Pickle锁对象错误并获取结果？

错误原因 #

你遇到的TypeError: cannot pickle '_thread.lock' object，本质是直接将subprocess.Popen对象的wait()方法提交给ProcessPoolExecutor，而Popen对象内部包含无法被pickle序列化的线程锁结构，进程池跨进程传递Future相关数据时会尝试序列化这些对象，最终触发错误。另外，给Future对象添加自定义属性的操作，也可能引入无法序列化的内容，加重问题。

解决方案 #

重构任务逻辑，把启动子进程、等待完成、收集结果的操作封装在独立函数中，让进程池只传递可序列化的简单数据（比如退出码、文件路径），避免跨进程传递Popen对象。

完整示例代码 #

import subprocess
from concurrent.futures import ProcessPoolExecutor
import tempfile
import os

def run_subprocess(cmd, temp_file_path):
    # 在进程池子进程内部启动目标子进程，输出写入临时文件
    with open(temp_file_path, 'w') as f:
        proc = subprocess.Popen(cmd, stdout=f, stderr=subprocess.STDOUT, shell=True)
        exit_code = proc.wait()
    # 返回可序列化的结果：退出码+临时文件路径
    return exit_code, temp_file_path

def on_process_complete(future):
    try:
        exit_code, temp_file_path = future.result()
        print(f"子进程执行完成，退出码: {exit_code}")
        # 读取并处理临时文件内容
        with open(temp_file_path, 'r') as f:
            output = f.read()
            print(f"子进程输出内容:\n{output}")
        # 清理临时文件
        os.unlink(temp_file_path)
    except Exception as e:
        print(f"处理子进程结果失败: {str(e)}")

if __name__ == '__main__':
    executor = ProcessPoolExecutor(max_workers=2)
    
    # 创建临时文件（注意delete=False，避免提前被删除）
    with tempfile.NamedTemporaryFile(delete=False) as temp_file:
        temp_file_path = temp_file.name
    
    # 提交任务，传递命令和临时文件路径
    future = executor.submit(run_subprocess, "echo '测试子进程输出' && sleep 2", temp_file_path)
    future.add_done_callback(on_process_complete)
    
    # 等待所有任务结束
    executor.shutdown(wait=True)

关键改进点 #

1. 任务内聚：所有和Popen相关的操作都在进程池的子进程内部完成，不需要跨进程传递Popen对象，彻底避免了锁对象序列化的问题。
2. 传递安全数据：任务函数返回的是整数（退出码）和字符串（文件路径），都是可被pickle序列化的类型，future.result()可以正常获取。
3. 移除自定义Future属性：把临时文件路径作为任务参数传入，再通过返回值带回，替代给Future加属性的做法，避免引入序列化风险。

内容的提问来源于stack exchange，提问作者Peter Kronenberg