使用sklearn TfidfVectorizer时，Python文本处理如何移除特定停用短语？

要实现移除sounds like这类特定停用短语但保留单个词的需求，结合sklearn的TfidfVectorizer，有两种高效的实现方式：

方法一：预处理阶段正则替换移除短语 #

利用TfidfVectorizer的preprocessor参数，自定义预处理逻辑，通过正则匹配完整短语并移除，确保单个词不会被误删。

import re
from sklearn.feature_extraction.text import TfidfVectorizer

# 定义要移除的停用短语列表
stop_phrases = ['sounds like']
# 构建正则模式，用单词边界确保匹配完整短语，避免部分匹配
pattern = r'\b(' + '|'.join(re.escape(p) for p in stop_phrases) + r')\b'

def custom_preprocessor(text):
    # 把匹配到的短语替换为空，相当于直接移除
    return re.sub(pattern, '', text)

# 初始化向量器，指定自定义预处理函数，同时保留默认停用词移除
vectorizer = TfidfVectorizer(preprocessor=custom_preprocessor, stop_words='english')

# 测试示例语料
corpus = [
    "This sounds like a good idea",
    "It sounds great, like we should proceed"
]

tfidf_matrix = vectorizer.fit_transform(corpus)
# 输出特征词，可见第一个文本的"sounds like"被移除，第二个保留单个词
print(vectorizer.get_feature_names_out())

方法二：自定义分词器过滤短语 #

如果需要处理短语的大小写变体、更长的多词短语，自定义分词器会更灵活。先分词，再遍历检查连续词是否属于停用短语，过滤掉组合但保留单个词。

from sklearn.feature_extraction.text import TfidfVectorizer
from nltk.tokenize import word_tokenize  # 需先安装：pip install nltk

# 停用短语集合，方便快速查找
stop_phrases = {'sounds like'}

def custom_tokenizer(text):
    tokens = word_tokenize(text.lower())  # 分词并统一转小写，兼容大小写变体
    filtered = []
    i = 0
    token_count = len(tokens)
    while i < token_count:
        # 检查当前词和下一个词是否组成停用短语
        if i < token_count - 1 and f"{tokens[i]} {tokens[i+1]}" in stop_phrases:
            i += 2  # 跳过这两个词
        else:
            filtered.append(tokens[i])
            i += 1
    return filtered

# 初始化向量器，指定自定义分词器
vectorizer = TfidfVectorizer(tokenizer=custom_tokenizer, stop_words='english')

corpus = [
    "This Sounds Like a good idea",
    "It sounds great, like we should proceed"
]

tfidf_matrix = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())

效率对比 #

• 方法一基于正则替换，在预处理阶段完成，执行效率更高，适合短语数量少、规则固定的场景。
• 方法二需要分词后遍历检查，效率略低，但灵活性更强，适合处理短语变体、动态调整短语列表的情况。

内容的提问来源于stack exchange，提问作者vp_5614