使用Dask Worker节点与多进程时对象初始化触发TypeError求助

错误原因 #

在多进程环境（Dask Worker/multiprocessing）中，父类foo的类信息可能在序列化/反序列化过程中丢失，导致Worker进程里的myFoo被错误识别为继承自object而非foo。此时调用super().__init__(*args, **kwargs)实际是调用object.__init__，但该方法仅接受self一个参数，因此触发TypeError。

解决方案 #

1. 显式指定父类构造方法 #

绕过super()的MRO（方法解析顺序）歧义，直接调用父类的构造方法：

import foo

class myFoo(foo):
    def __init__(self, *args, **kwargs):
        # 直接调用父类__init__，替代super()
        foo.__init__(self, *args, **kwargs)

2. 确保Worker进程能正确导入父类foo #

多进程（尤其是Windows下的spawn模式）会重新初始化Python解释器，需保证foo模块在Worker环境中可被导入：

• 如果foo是自定义模块，确保其所在路径被Worker的Python环境识别（比如添加到sys.path）
• 用Dask的Worker预加载机制，提前在Worker进程中导入foo：

from dask.distributed import Client, LocalCluster

def preload_foo():
    import foo
    # 确保父类在Worker进程中被加载
    global foo
    foo = foo

# 启动Cluster时指定Worker预加载函数
cluster = LocalCluster(worker_kwargs={"preload": [preload_foo]})
client = Client(cluster)

3. 规范类定义的位置 #

如果foo是你自己定义的类，不要将其放在主脚本的if __name__ == "__main__":块内，否则Worker进程无法正确导入该类。应将类定义放在独立的可导入模块中。

额外注意事项 #

• Windows系统的多进程默认使用spawn启动方式，会重新执行整个脚本，因此所有需要在Worker中使用的类/函数必须放在if __name__ == "__main__":之外
• 若foo是动态生成的类，需确保其支持cloudpickle序列化（Dask默认使用cloudpickle，但部分动态类仍可能存在序列化问题）

内容的提问来源于stack exchange，提问作者olivarb