Grafana下载Loki日志前脱敏IP、姓名及邮箱且保留原日志展示

一、先修正你的LogQL脱敏写法 #

你之前的查询失效大概率是正则表达式的转义错误——多写了不必要的\[，导致IP无法被匹配捕获。修正后的IP脱敏查询如下：

{filename="PATH"}
| regexp "(?P<ip>(?:\\d{1,3}\\.){3}\\d{1,3})"
| line_format "{{ replace .line .ip \"***\" }}"

如果要同时处理IP、邮箱、姓名，需要嵌套replace函数，依次替换不同敏感字段：

{filename="PATH"}
# 捕获IP
| regexp "(?P<ip>(?:\\d{1,3}\\.){3}\\d{1,3})"
# 捕获邮箱
| regexp "(?P<email>[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,})"
# 捕获姓名（假设姓名是2-4个中文字符，可根据实际调整正则）
| regexp "(?P<name>[\\u4e00-\\u9fa5]{2,4})"
# 嵌套替换：先换IP，再换邮箱，最后换姓名
| line_format "{{ replace (replace (replace .line .ip \"***\") .email \"***@***.***\") .name \"**\" }}"

二、实现「查看原始+下载脱敏」的切换方案 #

要同时满足查看原始日志、下载脱敏日志的需求，最便捷的方式是用Grafana变量切换查询逻辑：

1. 在Grafana面板中创建一个变量（比如命名为log_display_mode），选项设为：

   • 原始日志
   • 脱敏日志

2. 把面板的查询语句改为条件判断的形式：

{{ if eq $log_display_mode "脱敏日志" }}
{filename="PATH"}
| regexp "(?P<ip>(?:\\d{1,3}\\.){3}\\d{1,3})"
| regexp "(?P<email>[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,})"
| regexp "(?P<name>[\\u4e00-\\u9fa5]{2,4})"
| line_format "{{ replace (replace (replace .line .ip \"***\") .email \"***@***.***\") .name \"**\" }}"
{{ else }}
{filename="PATH"}
{{ end }}

3. 使用逻辑：
   • 日常查看时，选择原始日志变量，面板展示未修改的原始日志
   • 需要下载时，切换到脱敏日志变量，等待面板加载出脱敏后的内容，再点击Grafana的下载按钮导出日志

三、替代方案：Grafana Transform 脱敏 #

如果不想修改LogQL，也可以用Grafana的Transform功能在查询结果后做脱敏处理：

1. 面板中添加「Transform」→ 选择「Replace field content」
2. 针对日志字段（通常是Line），添加多个替换规则：
   • 替换IP：正则填(?:\d{1,3}\.){3}\d{1,3}，替换值填***
   • 替换邮箱：正则填[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}，替换值填***@***.***
   • 替换姓名：正则填[\u4e00-\u9fa5]{2,4}，替换值填**
3. 同样可以用变量控制Transform的启用/禁用（在Transform的「Enable」选项中绑定变量），查看时禁用Transform，下载时启用后再导出

关键注意事项 #

• 正则表达式需要根据你的日志中敏感数据的实际格式调整，比如姓名如果包含英文或特殊字符，要修改对应的正则
• LogQL的line_format会重写整条日志内容，确保正则能正确捕获所有需要替换的字段，避免遗漏
• 如果你的Loki版本较旧，某些函数可能不支持，建议升级到v2.4+版本以获得完整的LogQL功能支持

内容的提问来源于stack exchange，提问作者TheArd