如何基于关键词拼接CountVectorizer的token_pattern实现精确匹配？

当然可以实现，核心是给每个关键词添加边界锚定，同时转义关键词里的正则特殊字符（比如.、-这类），避免正则语法冲突，这样就能确保只匹配独立的关键词，不会命中子串。

具体操作步骤： #

• 先对每个关键词做正则转义：把关键词里的特殊字符（比如.变成\.，-变成\-）转义，防止它们被正则当成语法符号解析。
• 给转义后的关键词加上边界断言：确保关键词要么在字符串开头/结尾，要么前后是非单词字符（比如空格、标点），这样就不会匹配到像abcdef.com里的def.com这种子串。

代码示例： #

import re
from sklearn.feature_extraction.text import CountVectorizer

# 你的关键词列表
keywords = ['airbnb.com', 'booking', 'deliveroo.uk - UK']

def format_keyword_for_regex(keyword):
    # 转义正则特殊字符
    escaped_keyword = re.escape(keyword)
    # 用前后断言限定边界：关键词前后要么是字符串首尾，要么是非单词字符
    return fr'(?:^|\W){escaped_keyword}(?:\W|$)'

# 拼接成token_pattern
token_pattern = '|'.join(format_keyword_for_regex(k) for k in keywords)

# 初始化CountVectorizer
vectorizer = CountVectorizer(token_pattern=token_pattern)

# 测试用例
test_texts = [
    "I booked my stay on airbnb.com",
    "abcdef.com shouldn't match def.com",
    "deliveroo.uk - UK is my go-to food app"
]

# 拟合文本并查看匹配到的特征
vectorizer.fit(test_texts)
print(vectorizer.get_feature_names_out())

关键细节说明： #

• 必须用re.escape()：比如如果直接用airbnb.com作为正则，.会被当成“任意单个字符”，会匹配airbnbXcom这种错误内容，转义后才能精确匹配.本身。
• 不用单纯的\b：\b是单词边界，只对字母、数字、下划线有效，对于airbnb.com里的.，\b的匹配逻辑可能不符合预期，而(?:^|\W)和(?:\W|$)能更精准地限定关键词是独立出现的。
• 带空格的关键词也能处理：比如deliveroo.uk - UK这种包含空格和-的关键词，转义后正则会把它们当成普通字符，正确匹配整个短语。

内容的提问来源于stack exchange，提问作者LJG