如何编写字符查找替换程序 借助Regex实现日志邮箱脱敏

核心实现逻辑 #

不需要写复杂规则枚举所有邮箱用户名的格式，只需要匹配「任意非异常字符组成的用户名 + @ + 域名」的结构，捕获@后的域名部分，将用户名统一替换为固定值user即可，既可以覆盖你提到的abc@gmail.com、abc_efg@gmail.com这类常见格式，也能适配绝大多数无统一记录规则的日志场景。

可直接复用的正则规则 #

通用匹配正则（适配99%公开邮箱场景） #

[a-zA-Z0-9._%+-]+@([a-zA-Z0-9.-]+\.[a-zA-Z]{2,})
规则说明：

• 正则前半段[a-zA-Z0-9._%+-]+匹配@前的用户名，覆盖字母、数字、下划线、点、加号、减号、百分号等所有公开邮箱允许的用户名字符，不会漏匹配常规格式邮箱
• 捕获组([a-zA-Z0-9.-]+\.[a-zA-Z]{2,})匹配@后的完整域名，支持多级域名、带中划线的域名，以及com/cn/org等长度≥2的常规域名后缀

宽松匹配正则（适配日志格式混乱、存在内部邮箱的场景） #

如果日志里存在带特殊字符的用户名、无公网后缀的内部邮箱（比如test user@company-inner、ops#alert@local），可以用兼容性更高的宽松规则：
[^@\s]+@([^\s]+)
规则说明：

• 前半段[^@\s]+匹配@前所有非@、非空白的字符，覆盖所有非跨行、和其他内容无空白分隔的邮箱用户名
• 捕获组([^\s]+)匹配@后所有非空白字符，适配任意格式的内部域名、特殊后缀

替换规则 #

替换时保留捕获到的域名部分即可，根据你用的工具选择对应的替换写法：

• 命令行工具（sed、awk、grep等）：替换字符串写user@\1
• 编程语言（Python、Java、JavaScript、Go等）：替换字符串写user@$1

大文件处理落地示例 #

针对体量庞大的日志，不要用普通编辑器打开或者把整个文件加载到内存，用流式处理的方式性能最高，以下是两个最常用的实现：

• sed命令直接处理（适合快速处理，内存占用极低，支持几十GB级文件）

# 通用正则版本
sed -E 's/[a-zA-Z0-9._%+-]+@([a-zA-Z0-9.-]+\.[a-zA-Z]{2,})/user@\1/g' original.log > desensitized.log
# 宽松正则版本
sed -E 's/[^@\s]+@([^\s]+)/user@\1/g' original.log > desensitized.log

参数说明：-E启用扩展正则，g表示替换一行中所有匹配到的邮箱，处理完成后结果写入新文件，不会修改原日志。

• Python脚本处理（适合需要叠加其他脱敏规则的场景）

import re

# 按需选择正则，这里默认用通用规则
email_pattern = re.compile(r'[a-zA-Z0-9._%+-]+@([a-zA-Z0-9.-]+\.[a-zA-Z]{2,})')

# 逐行流式读写，不会占满内存
with open("original.log", "r", encoding="utf-8", errors="ignore") as f_in, \
    open("desensitized.log", "w", encoding="utf-8") as f_out:
    for line in f_in:
        f_out.write(email_pattern.sub(r"user@\1", line))

校验建议 #

处理完成后可以用以下命令快速校验是否有漏替换的邮箱，按需调整正则规则：

# 提取脱敏后文件里剩余的疑似邮箱，检查是否有漏处理的内容
grep -E '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}' desensitized.log

内容的提问来源于stack exchange，提问作者Goh