使用Spacy处理西班牙语语料词形还原过慢，求高效替代方案

一、优化现有Spacy的使用方式 #

这是最直接的改进，无需更换工具就能大幅提升速度：

• 禁用不必要的管道组件：加载Spacy西语模型时，只保留与词形还原相关的tagger和lemmatizer，禁用parser、ner等无关组件，减少计算开销。
• 使用批量处理接口nlp.pipe：替代apply逐行处理，nlp.pipe支持批量文本处理，还能开启多进程加速，效率比逐行调用nlp()高很多。

示例代码：

import spacy
import pandas as pd

# 加载轻量西语模型，禁用无关组件
nlp = spacy.load("es_core_news_sm", disable=["parser", "ner"])

# 批量处理文本，设置合理的batch_size和多进程
df["text_lemma"] = [
    " ".join([token.lemma_ for token in doc])
    for doc in nlp.pipe(df["text"], batch_size=1000, n_process=-1)
]

注：batch_size可根据内存大小调整（比如2000），n_process=-1会使用所有可用CPU核心，进一步缩短耗时。

二、使用Hunspell进行快速词形还原 #

Hunspell是一款高效的拼写检查与词形还原工具，对西班牙语支持完善，处理大规模数据的速度远快于Spacy，适合对准确率要求不是极致、追求速度的场景。

步骤：

1. 安装Hunspell库：pip install hunspell
2. 准备西班牙语的Hunspell词典文件（.dic和.aff格式）

示例代码：

import hunspell
import pandas as pd

# 初始化Hunspell，传入词典文件路径
hunspell_obj = hunspell.HunSpell("/path/to/es_ES.dic", "/path/to/es_ES.aff")

def hunspell_lemmatize(text):
    lemmas = []
    for word in text.split():
        # 获取词形还原结果，若无结果则保留原词
        stem_results = hunspell_obj.stem(word)
        lemmas.append(stem_results[0] if stem_results else word)
    return " ".join(lemmas)

# 批量应用词形还原
df["text_lemma"] = df["text"].apply(hunspell_lemmatize)

三、NLTK轻量词形还原方案 #

如果需要轻量级工具，NLTK也支持西班牙语词形还原，但需要额外配置西语语料：

示例代码：

import nltk
from nltk.stem import WordNetLemmatizer
import pandas as pd

# 下载必要的语料（首次运行需执行）
nltk.download('wordnet')
nltk.download('omw-1.4')

lemmatizer = WordNetLemmatizer()

def nltk_lemmatize(text):
    lemmas = []
    for word in text.split():
        # 西语词形还原需指定语料为西班牙语
        lemma = lemmatizer.lemmatize(word, lang='spa')
        lemmas.append(lemma)
    return " ".join(lemmas)

df["text_lemma"] = df["text"].apply(nltk_lemmatize)

注：NLTK的西语词形还原准确率略低于Spacy，速度介于Spacy优化版和Hunspell之间。

内容的提问来源于stack exchange，提问作者Laura R