Python3.7+下如何用Spacy拆分Pandas行段落并避免迭代？

完全可以不用iterrows/itertuples/apply这类逐行迭代的低效方法，结合Spacy的批量处理能力和Pandas的内置向量化操作，就能高效实现需求，性能比逐行处理好得多。

核心思路 #

Spacy的nlp.pipe是专门针对批量文本处理优化的接口，支持并行处理（利用多CPU核心），能大幅提升文本分句的速度；再配合Pandas的explode方法（内置的向量化操作），可以快速把句子列表拆分成独立行，全程避开低效的逐行迭代。

完整实现步骤 #

1. 批量处理文本生成句子列表
   用nlp.pipe批量读取DataFrame的段落列，一次性处理所有文本并生成分句列表。相比逐行调用nlp()，批量处理能减少模型加载和上下文切换的开销，并行处理还能进一步提速。

2. 拆分句子为独立行
   用Pandas的explode方法，把每个单元格里的句子列表直接拆成多行，这是Pandas内部优化的操作，效率远高于手动循环拆分。

代码示例 #

import pandas as pd
import spacy

# 加载医学文本分词模型
nlp = spacy.load("en_core_sci_sm")

# 示例输入DataFrame
df = pd.DataFrame({
    'id': [1, 2],
    'paragraph': [
        "The human genome is a complete set of nucleic acid sequences for humans. It is encoded as DNA within the 23 chromosome pairs in cell nuclei and in a small DNA molecule found within individual mitochondria.",
        "CRISPR-Cas9 is a gene-editing technology. It allows researchers to easily alter DNA sequences and modify gene function. Its potential applications include correcting genetic defects, treating and preventing the spread of diseases, and improving crops."
    ]
})

# 批量处理段落，生成分句列表
def batch_split_sentences(texts):
    # 批量处理文本，过滤空句子
    for doc in nlp.pipe(texts, batch_size=50, n_process=-1):
        yield [sent.text.strip() for sent in doc.sents if sent.text.strip()]

# 给DataFrame添加分句列
df['sentences'] = list(batch_split_sentences(df['paragraph']))

# 拆分句子为独立行，并重命名列
result_df = df.explode('sentences').rename(columns={'sentences': 'sentence'})

# 可选：重置索引
result_df = result_df.reset_index(drop=True)

print(result_df)

为什么这比逐行迭代好？ #

• nlp.pipe的批量并行处理：相比逐行用apply调用nlp()，批量处理能把文本分成批次，利用多CPU核心同时处理，处理大数据量时速度能提升数倍。
• explode是Pandas内置优化：它是基于底层C实现的向量化操作，比手动用iterrows循环拆分列表快得多，几乎没有Python层面的循环开销。

注意事项 #

• 如果你的DataFrame非常大，可以调整batch_size参数（比如设为100或200），平衡内存占用和处理速度。
• n_process=-1会使用所有可用的CPU核心，如果机器资源紧张，可以指定具体的核心数（比如n_process=2）。

内容的提问来源于stack exchange，提问作者learningtocode