如何修复Spacy文本预处理函数的停用词过滤失效问题？

你的代码大概率是自定义停用词的格式与spaCy token的文本不匹配，或是误用token对象而非文本字符串做匹配，导致not in stop_words条件始终不生效（或错误过滤所有内容）。以下是修复后的函数，同时保留你原有的所有过滤逻辑：

修复后的预处理函数 #

import spacy

# 加载对应语言模型，中文用zh_core_web_sm，英文替换为en_core_web_sm
nlp = spacy.load("zh_core_web_sm")

# 自定义停用词转成集合（查询效率远高于列表），提前统一格式
custom_stop_words = {"的", "了", "和", "这", "那"}

def preprocess_text(text):
    doc = nlp(text)
    processed_tokens = []
    for token in doc:
        # 保留原有所有条件：非内置停用词、非标点、不在自定义停用词列表
        if not token.is_stop and not token.is_punct and token.text.lower() not in custom_stop_words:
            processed_tokens.append(token.text)
    return processed_tokens

关键修复点 #

• 改用集合存储停用词：集合的in操作效率远高于列表，尤其是停用词数量较多时，避免不必要的性能损耗
• 统一文本格式：英文场景用token.text.lower()确保token文本和停用词大小写一致；中文场景若有全角/半角差异，需提前统一处理
• 明确匹配对象：必须用token.text（或token.lemma_，如果要基于词元过滤）和停用词对比，不要直接用token对象（token not in stop_words会匹配对象而非文本，必然失效）
• 保留原有逻辑顺序：维持你原本的条件顺序，确保每个过滤规则都按预期生效

可选优化：合并内置与自定义停用词 #

如果你想让自定义停用词直接加入spaCy的内置停用词库，后续只用token.is_stop判断，可在加载模型后添加：

# 将自定义停用词合并到spaCy内置停用词
nlp.Defaults.stop_words.update(custom_stop_words)
# 刷新停用词缓存
nlp.vocab.vectors.name = "spacy_vectors"

这样函数可简化为：

def preprocess_text(text):
    doc = nlp(text)
    return [token.text for token in doc if not token.is_stop and not token.is_punct]

但这会修改内置停用词库，若需保留原有独立过滤逻辑，优先使用第一种方案。

内容的提问来源于stack exchange，提问作者Lilly_Co