如何高效将Spacy v3 pipeline应用于Pandas DataFrame每行文本？

逐行apply、iterrows速度慢是必然的，分批处理确实能大幅提升速度，但不需要自己手写分批遍历逻辑，Spacy原生提供的nlp.pipe方法已经实现了经过优化的批量流处理，是目前处理大规模文本数据集的最优方案，2万行规模的数据集通常能把耗时从逐行处理的数小时压缩到十几分钟甚至几分钟。

速度慢的核心原因 #

• 逐行调用nlp(x)时，Spacy每次都要为单条文本重复做内存分配、推理上下文初始化，无法复用批量计算的底层优化，尤其是启用了NER、句法解析、文本分类、Transformer类组件时，单条推理的额外开销占比极高。
• iterrows本身在Pandas层就存在逐行构造Series对象的额外开销，速度比apply更慢属于正常表现。

最优实现代码 #

nlp.pipe接收可迭代的文本列表，内部自动按设定的batch size做分批处理，还支持多进程并行，比手动写分批循环的效率高30%以上：

import pandas as pd
import spacy

# 加载你的spacy模型，例如zh_core_web_md、en_core_web_trf
nlp = spacy.load("你的模型路径/模型名")
df = pd.read_csv(f, sep='\t', encoding='utf-8')

# 提前过滤空值，避免nlp构造Doc对象时报错
text_list = df['Text_initial'].fillna('').tolist()

# 批量处理，参数根据硬件和文本长度调整
df['Text_spacy'] = list(
    nlp.pipe(
        text_list,
        batch_size=100,  # 分批大小，长文本设50-200，短文本设500-2000
        n_process=4      # 多进程数，传统sm/md/lg模型设为CPU核心数-1；trf Transformer模型设为1，避免兼容问题
    )
)

display(df)

额外提速技巧 #

• 按需启用Pipeline组件：如果后续任务不需要部分组件的输出，可以临时禁用以减少计算量，例如只需要分词、词性标注和NER时：

  with nlp.select_pipes(enable=["tok2vec", "tagger", "ner"]):
      df['Text_spacy'] = list(nlp.pipe(text_list, batch_size=100))
  

• 结合你后续基于\n分句的需求，可以提前把每行文本按\n拆成语段列表传入nlp.pipe，既减少单次处理的文本长度降低内存压力，也省掉后续拆分Doc对象的步骤。
• 处理完成的Doc对象不要直接存为CSV，会丢失所有标注属性，需要持久化的话用Spacy自带的DocBin结构存储，读写速度和存储体积都远优于CSV。

内容的提问来源于stack exchange，提问作者Artemis