Python 2.7多线程图像处理系统PicklingError问题求助

嘿，我来帮你捋捋这个问题！首先得澄清一点：你说的是「多线程」，但错误提示来自multiprocessing模块——这大概率是你不小心混用了线程和进程的代码？如果是纯多线程（用threading模块），其实根本不需要pickle，因为所有线程共享同一块内存，直接操作列表就行；但如果是用多进程处理图片，那序列化对象就是绕不开的坎，咱们重点说这个场景的解决办法。

1. 先搞懂为什么会出现_subprocess_handle无法序列化的错误 #

这个错误本质是：你的类实例里藏了pickle搞不定的系统资源句柄——比如打开的文件、子进程的句柄、网络连接这类绑定了操作系统内核状态的东西。pickle只能序列化纯数据（比如字符串、数字、简单对象），对这种带状态的内核对象完全束手无策。

先去检查你的图片处理类：是不是在实例里保存了subprocess.Popen返回的对象？或者打开了图片文件但没关闭，把文件句柄存在了实例属性里？这些都是罪魁祸首。

2. 用copy_reg解决自定义类的序列化问题（Python2.7专属） #

你已经尝试过copy_reg但没搞定，大概率是没找对姿势。给你个清晰的例子：

首先，你的类要尽量只存纯数据，别带系统资源；然后定义序列化和反序列化的函数，注册给copy_reg：

import copy_reg

# 你的图片处理器类，只存可序列化的参数
class ImageProcessor(object):
    def __init__(self, img_save_dir, resize_size):
        self.save_dir = img_save_dir
        self.resize_size = resize_size  # 比如(256,256)这种纯数据元组

# 序列化函数：把实例转换成「类+初始化参数」的元组
def pickle_processor(obj):
    return (ImageProcessor, (obj.save_dir, obj.resize_size))

# 注册到copy_reg，告诉pickle怎么序列化这个类
copy_reg.pickle(ImageProcessor, pickle_processor)

这样pickle就知道怎么把你的类实例拆成可序列化的部分，重建的时候也能正确初始化。

3. 彻底解决_subprocess_handle错误的核心：清理不可序列化资源 #

如果你的类必须用到文件、子进程这类资源，那绝对不能把这些资源本身序列化。可以用__getstate__和__setstate__方法来控制序列化的内容：

class ImageProcessor(object):
    def __init__(self, img_path):
        self.img_path = img_path
        # 这里的file_handle是不可序列化的，别直接存进去让pickle碰
        self.file_handle = open(img_path, 'rb')

    def __getstate__(self):
        # 返回要序列化的状态：把不可序列化的属性删掉
        state = self.__dict__.copy()
        del state['file_handle']  # 移除文件句柄
        return state

    def __setstate__(self, state):
        # 反序列化时，重新初始化那些不可序列化的资源
        self.__dict__.update(state)
        self.file_handle = open(self.img_path, 'rb')  # 重新打开文件

这样pickle只会序列化img_path这个纯字符串，反序列化的时候再重新打开文件，就不会触发句柄无法序列化的错误了。

4. 别搞混线程和进程！ #

再强调一遍：

• 如果是用threading.Thread做多线程，完全不需要pickle！直接在主线程维护一个列表，各个线程直接读取、处理就行（注意加锁，比如用threading.Lock避免并发修改列表出问题）。
• 如果是用multiprocessing.Process做进程，别自己手动维护列表，用multiprocessing.Queue来传递图片任务——队列会自动帮你处理序列化，但前提是你传递的对象是可pickle的（按照上面的方法处理就行）。

5. Python2.7的额外坑要注意 #

• 自定义类必须在顶级模块里定义，不能在函数内部定义，否则pickle找不到类的定义会报错。
• 如果用multiprocessing.Pool，传递的任务函数和参数也必须是可pickle的，别传带系统资源的对象。

内容的提问来源于stack exchange，提问作者DysonSphere