Python re模块日志敏感信息过滤：全大写长字符串卡顿排查

核心原因：正则灾难性回溯 #

你遇到的卡顿是正则表达式的灾难性回溯导致的，且仅在全大写字符串触发，大概率和你的邮箱正则结构有关：

• 当目标字符串（55个大写A）不包含邮箱必备的@符号时，正则引擎会尝试所有可能的方式去匹配正则的前缀部分（比如邮箱用户名的匹配规则），由于大写字符的匹配分支逻辑或正则存在嵌套重复结构，导致回溯次数呈指数级增长，引擎陷入无限计算。
• 小写字符串未卡顿，是因为正则对小写的匹配逻辑更简洁，或引擎内部对小写匹配做了优化，未触发大量回溯。

解决方案 #

1. 优化正则表达式，阻断不必要回溯 #

修改正则，使用原子组或占有量词锁定匹配结果，防止引擎回溯：

• 原子组(?>...)：一旦匹配成功，不会回溯该组内的内容
• 占有量词++/*+：匹配时不保留回溯位置

示例优化后的邮箱正则：

import re
# 使用原子组的版本
email_pattern = re.compile(r'(?>[A-Za-z0-9._%+-]+)@(?>[A-Za-z0-9.-]+)\.(?>[A-Za-z]{2,})')
# 或使用占有量词的版本
email_pattern = re.compile(r'[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]++\.[A-Za-z]{2,}+')

2. 提前过滤无效字符串 #

在正则匹配前，先判断字符串是否包含@符号，不包含则直接跳过匹配，避免无效计算：

def desensitize_log(text):
    if '@' not in text:
        return text
    return email_pattern.sub('<HIDDEN email_address>', text)

3. 排查正则的嵌套重复结构 #

如果你的原始正则存在类似([A-Z]+)+的嵌套重复结构（错误地用分组包裹重复规则），必须立即移除嵌套，改为[A-Z]+，这种结构是触发灾难性回溯的重灾区。

内容的提问来源于stack exchange，提问作者John Bosman