如何使用Negative lookahead编写正则匹配不在指定词表中的单词

问题原因分析 #

• 原方案使用\b单词边界判定存在缺陷：\b仅识别\w（字母、数字、下划线）和非\w字符的交界位置，遇到词表中的&字符时，会把完整词误拆为多个片段，导致负向断言失效
• 原方案用\w+匹配内容，无法覆盖包含&的合法词，会自动拆分带特殊字符的词
• 部分方案未添加实际的非空白字符匹配逻辑，仅匹配空白位置，不符合需求

正确正则实现 #

import re

phrase_list = ["chip_n_dale", "86", "fast_&_furious", "apple", "b&w", "abc_123"]
# 转义词表所有项，避免特殊字符正则转义问题
escaped_phrases = '|'.join(re.escape(word) for word in phrase_list)
# 构造正则：匹配空白分隔的完整非词表token
phrases_re = re.compile(rf'(?<!\S)(?!(?:{escaped_phrases})(?!\S))\S+')

正则逻辑说明 #

• (?<!\S)：锚定匹配起始位置为字符串开头或空白字符后，确保匹配完整token的开头
• (?!(?:{escaped_phrases})(?!\S))：负向先行断言，排除从当前位置到下一个空白/字符串结尾的内容属于词表的情况
• \S+：匹配完整的非空白token，覆盖包含&、下划线的所有合法字符组合

使用示例 #

def post_phrase_tokenize_processing(match):
    # 此处替换为你自定义的清洗逻辑
    return ""

test_text = "chip_n_dale 86 fast_&_furious apple b&w abc_123 test_word 123_xxx b&y hello"
cleaned_text = phrases_re.sub(post_phrase_tokenize_processing, test_text)
# 可选：清理多余空白
cleaned_text = ' '.join(cleaned_text.split())
# 输出结果：chip_n_dale 86 fast_&_furious apple b&w abc_123

内容的提问来源于stack exchange，提问作者wildlemon