函数内调用pathos多进程池执行spaCy任务效率骤降的原因排查与优化

你最初的猜测完全成立，核心差异来自局部闭包对nlp对象的强制全量序列化传输，具体逻辑如下：

• 全局直接执行的场景：全局定义的worker lambda 引用全局作用域的nlp对象。pathos子进程在Unix/macOS默认使用fork启动模式，会直接继承父进程的内存空间（依赖写时复制机制），nlp不需要被序列化打包，子进程直接复用父进程已经加载好的模型，仅需处理文本计算，因此耗时极低。
• 封装到函数内部的场景：函数内定义的worker lambda 是局部闭包，会捕获当前作用域的nlp作为自由变量。pathos依赖dill序列化闭包时，会把nlp的完整数据（数MB的模型权重、管道结构）全部打包到序列化负载中，每次任务分发都需要重复执行序列化、跨进程传输、反序列化操作。spaCy模型是复杂的嵌套C结构，本身序列化开销远高于实际文本处理的计算量，因此会出现量级的性能下跌。
• 你测试中Pool passed to a function的场景性能同样较差，是因为只要使用了捕获nlp的局部闭包作为worker，哪怕Pool实例是在外部创建的，依然会触发nlp的完整序列化逻辑，因此耗时和函数内建池的场景几乎一致。

方案1：子进程初始化时加载模型（推荐，跨平台兼容） #

不需要序列化传输nlp对象，每个子进程启动时仅加载一次模型，后续所有任务直接复用，性能最优，且在Windows/macOS的spawn启动模式下也能正常运行：

import spacy
from pathos.multiprocessing import ProcessPool as Pool
import time

# 子进程内部用这个变量存储加载好的模型，避免跨进程传输
_worker_nlp = None

def init_worker(model_name: str):
    """子进程启动时仅执行一次的初始化函数"""
    global _worker_nlp
    _worker_nlp = spacy.load(model_name)

def preworker(text: str):
    """无闭包捕获的全局worker函数，直接使用子进程内的模型"""
    return [w.lemma_ for w in _worker_nlp(text)]

texts = ["Este es un texto muy interesante en español"] * 10

def run_pipeline(texts: list, model_name: str = "es_core_news_sm", n_workers: int = 3):
    """封装在函数内的多进程逻辑，无大对象序列化开销"""
    # 建池时指定初始化函数，每个子进程启动时自行加载模型
    pool = Pool(n_workers, initializer=init_worker, initargs=(model_name,))
    return pool.map(preworker, texts)

st = time.time()
r = run_pipeline(texts)
print(f"实现耗时：{time.time()-st:.3f}秒")

方案2：全局worker复用父进程内存（仅Unix/macOS fork模式高效） #

如果不需要兼容Windows，可以放弃局部闭包，把worker定义为全局函数，直接引用全局加载的nlp对象，利用fork的写时复制机制共享模型，完全避免序列化开销：

import spacy
from pathos.multiprocessing import ProcessPool as Pool
import time

# 父进程全局加载一次模型
nlp = spacy.load("es_core_news_sm")

def preworker(text: str):
    # 全局worker直接引用全局nlp，无闭包捕获
    return [w.lemma_ for w in nlp(text)]

texts = ["Este es un texto muy interesante en español"] * 10

def out_worker_fixed(texts: list, n_workers: int = 3):
    """封装在函数内的多进程逻辑，使用全局worker避免大对象序列化"""
    pool = Pool(n_workers)
    # 传入全局preworker，而非捕获nlp的局部闭包
    return pool.map(preworker, texts)

st = time.time()
r = out_worker_fixed(texts)
print(f"实现耗时：{time.time()-st:.3f}秒")

内容的提问来源于stack exchange，提问作者Vladimir Vargas