使用spacy-langdetect时spaCy nlp.pipe多进程（n_process>1）出现AttributeError报错的问题咨询

你遇到的这个错误核心原因是多进程环境下，子进程没有注册Doc对象的language扩展属性。

当你启用n_process>1时，spaCy会创建独立的子进程来并行处理文本。不管是macOS的spawn模式还是Linux的fork模式，子进程的Python上下文都是独立的：

• 在spawn模式下，子进程会重新启动Python解释器，重新加载依赖模块；
• 在fork模式下，虽然子进程会继承主进程内存，但spaCy的多进程处理逻辑会重新初始化NLP管道，可能导致扩展属性的注册状态丢失。

spacy-langdetect库虽然在模块加载时会自动注册language扩展，但如果子进程没有正确导入该模块，或者扩展注册的代码没有在子进程中执行，就会出现AttributeError: [E046]错误——子进程处理文档时，找不到已注册的language扩展属性。

方法一：显式注册扩展并确保子进程加载依赖 #

在你的代码开头显式注册Doc的language扩展，确保主进程和子进程都会执行这一步。这样不管子进程是重新导入模块还是初始化管道，扩展属性都已注册：

import spacy
from spacy_langdetect import LanguageDetector
from spacy.language import Language
from spacy.tokens import Doc

# 显式注册扩展，确保所有进程都能识别这个属性
if not Doc.has_extension("language"):
    Doc.set_extension("language", default=None)

@Language.factory('language_detector')
def language_detector(nlp, name):
    return LanguageDetector()

# 加载模型并添加组件
nlp = spacy.load("en_core_web_lg")
nlp.add_pipe('language_detector', last=True)

# 多进程处理文本
docs = list(nlp.pipe(['I bless the rains down in Africa'], n_process=-1))
print([doc._.language for doc in docs])

方法二：手动使用多进程池控制子进程初始化 #

如果spaCy自带的nlp.pipe多进程逻辑无法满足需求，你可以直接使用Python的multiprocessing.Pool，在每个子进程初始化时手动加载模型、注册组件和扩展，确保上下文完全一致：

import spacy
from spacy_langdetect import LanguageDetector
from spacy.language import Language
from spacy.tokens import Doc
import multiprocessing

def init_worker():
    """每个子进程启动时执行的初始化逻辑"""
    global nlp_worker
    # 注册扩展
    if not Doc.has_extension("language"):
        Doc.set_extension("language", default=None)
    # 注册组件工厂
    @Language.factory('language_detector')
    def language_detector(nlp, name):
        return LanguageDetector()
    # 加载模型并添加组件
    nlp_worker = spacy.load("en_core_web_lg")
    nlp_worker.add_pipe('language_detector', last=True)

def process_text(text):
    """子进程中处理单条文本的函数"""
    doc = nlp_worker(text)
    return doc._.language

if __name__ == "__main__":
    texts = ['I bless the rains down in Africa']
    # 创建进程池，指定初始化函数
    with multiprocessing.Pool(initializer=init_worker) as pool:
        results = pool.map(process_text, texts)
    print(results)

内容的提问来源于stack exchange，提问作者Nicolas Mauti