Python multiprocessing.Pool.apply_async无法执行类内函数问题

问题场景 #

在自定义类CustomClass中编写了如下代码：

import multiprocessing
from queue import Empty

class CustomClass():
    
    triggerQueue: multiprocessing.Queue

    def __init__(self):
        
        self.triggerQueue = multiprocessing.Queue()

    def poolFunc(queueString):
        
        print(queueString)

    def listenerFunc(self):

        pool = multiprocessing.Pool(5)

        while True:
            try:
                queueString = self.triggerQueue.get_nowait()
                pool.apply_async(func=self.poolFunc, args=(queueString,))

            except Empty:
                break

预期实现的三个功能中，将触发信号传入poolFunc异步执行这一功能失效，但把poolFunc移到类外定义时功能正常。

原因分析 #

• 参数不匹配导致隐性报错：类内定义的poolFunc没有self参数，当通过self.poolFunc引用它时，Python会尝试将其绑定为实例方法。多进程调用时，子进程会自动把实例对象作为第一个参数传入，但poolFunc只定义了一个参数queueString，参数数量不匹配直接触发错误——只是多进程的错误未被捕获输出，看起来像是功能失效。
• 序列化机制限制：多进程间传递函数依赖pickle序列化。类内的未绑定方法或绑定方法，序列化与反序列化逻辑和普通函数不同，子进程无法正确加载执行该方法。

解决办法与结论 #

1. 添加self参数并确保实例可序列化：如果poolFunc需要访问实例属性，需将其定义为实例方法，加上self参数：

def poolFunc(self, queueString):
    print(queueString)

此时要保证实例的所有属性都能被pickle序列化（比如不能包含未序列化的资源句柄），否则多进程传递时会失败。

2. 使用静态方法（推荐）：如果poolFunc不需要访问实例或类的属性，直接用@staticmethod装饰器定义，这样它就和类外的普通函数行为一致，无需self参数，也能被多进程正确处理：

@staticmethod
def poolFunc(queueString):
    print(queueString)

调用时用pool.apply_async(func=self.poolFunc, args=(queueString,))或CustomClass.poolFunc都可正常运行。

3. 类内调用完全可行：只要按照正确的方式定义方法（实例方法带self且实例可序列化，或使用静态/类方法），类内方法完全可以被多进程池调用，并非根本不可行。

内容的提问来源于stack exchange，提问作者Viktor Katzy