regex.findall重叠匹配疑问：前缀模式为何无法匹配长组合？

问题描述 #

执行以下Python代码：

import regex

product_detail = "yyy target1 target2 xxx".lower()
p1 = r"\btarget1\b|\btarget1 target2\b"
p2 = r"\btarget2\b|\btarget1 target2\b"
for pattern in [p1, p2]:
    matches = regex.findall(pattern, product_detail, overlapped=True)
    print(matches)

得到结果：

• p1匹配结果：['target1']（未包含'target1 target2'）
• p2匹配结果：['target1 target2', 'target2']（符合预期）

原因分析 #

正则表达式的分支匹配遵循从左到右的优先级规则：只要左侧分支能匹配成功，引擎就会直接返回该匹配结果，不会再尝试右侧的分支。

• 对于p1，左侧分支\btarget1\b先匹配到字符串中的target1，此时引擎已完成一次匹配，即便开启overlapped=True，也只是允许后续从已匹配位置的下一个字符开始新匹配，但不会回溯去尝试右侧更长的target1 target2分支。
• 对于p2，左侧分支\btarget2\b在字符串开头的target1之后无法匹配，引擎才会尝试右侧的target1 target2分支，匹配成功后，overlapped=True允许从target2的位置开始再次匹配，最终得到两个结果。

修复方案 #

调整分支顺序，将更长的匹配模式放在分支左侧，让引擎优先尝试匹配长串，再匹配短串。修改p1的模式：

p1_fixed = r"\btarget1 target2\b|\btarget1\b"
matches = regex.findall(p1_fixed, product_detail, overlapped=True)
print(matches)  # 输出: ['target1 target2', 'target1']

通用化适配（针对大量目标词） #

当存在上万条目标词（包含单词和多词组合）时，不能手动调整顺序，可按以下步骤自动生成正则：

1. 收集所有目标词：包括单关键词和多词组合短语。
2. 按长度降序排序：确保长短语排在单关键词前面，避免被短词抢占匹配。
3. 生成正则模式：为每个目标词添加边界符\b（若目标词含正则元字符，需先转义），再用|连接所有模式。

示例代码：

import regex

# 模拟上万条目标词（包含单词和多词组合）
target_words = ["target1", "target2", "target1 target2", "apple pie", "apple"]
product_detail = "yyy target1 target2 apple pie xxx".lower()

# 按字符串长度降序排序
sorted_targets = sorted(target_words, key=lambda x: len(x), reverse=True)

# 转义特殊字符并生成正则模式
pattern_parts = [rf"\b{regex.escape(word)}\b" for word in sorted_targets]
final_pattern = "|".join(pattern_parts)

# 执行匹配
matches = regex.findall(final_pattern, product_detail, overlapped=True)
print(matches)  # 输出: ['target1 target2', 'target2', 'target1', 'apple pie', 'apple']

内容的提问来源于stack exchange，提问作者leonardltk1