如何优化Python日志敏感数据脱敏函数？

原场景说明 #

函数用于隐藏日志中的敏感数据，支持两种输入形式：

• 字符串格式的日志内容
• 包含__dict__["args"]属性的日志对象（如示例中logger.debug的参数会被封装为元组存入args）

原函数存在嵌套循环冗余、正则重复编译、逻辑冗余等问题，以下是具体优化方案：

优化点及实现 #

1. 合并敏感字段处理，消除嵌套循环 #

原代码对每个日志项循环遍历敏感字段检查，改为一次性处理所有敏感字段，避免内层循环冗余。

2. 提前编译正则表达式，提升性能 #

将正则表达式提前编译，避免每次进入异常块时重复编译，减少性能损耗。

3. 简化JSON处理逻辑 #

无需先检查敏感字段是否存在，直接尝试解析JSON；解析成功后批量替换所有敏感字段，无需逐个判断。

4. 提前做参数合法性校验 #

提前判断args是否存在且可迭代，避免不必要的try-except捕获。

5. 规范属性访问逻辑 #

用更清晰的方式处理args的获取与更新，符合Python编码习惯。

优化后的完整代码 #

import re
import json

# 提前编译正则，匹配两种敏感字段的URL参数格式
SENSITIVE_PARAM_PATTERN = re.compile(r'(access_token|password)=([^& ]+)')
# 定义敏感字段集合，用于JSON格式替换
SENSITIVE_FIELDS = {"access_token", "password"}

def _hide_sensitive_data(record):
    args = record.__dict__.get("args")
    # 提前校验：args不存在或非可迭代类型直接返回
    if not args or not isinstance(args, (tuple, list)):
        return

    processed_args = []
    for item in args:
        item_str = str(item)
        # 先尝试按JSON格式处理
        try:
            item_json = json.loads(item_str)
            # 批量替换所有敏感字段
            for field in SENSITIVE_FIELDS:
                if field in item_json:
                    item_json[field] = "*****"
            processed_args.append(item_json)
            continue
        except json.JSONDecodeError:
            pass

        # 按URL参数格式处理敏感数据
        processed_item = SENSITIVE_PARAM_PATTERN.sub(r'\1=*****', item_str)
        processed_args.append(processed_item)

    # 更新日志对象的args属性
    record.__dict__["args"] = tuple(processed_args)

优化细节说明 #

• 正则合并：将access_token和password的匹配规则合并为一个正则，一次完成所有敏感字段的替换，避免多次匹配
• 预编译正则：正则表达式仅在模块加载时编译一次，函数多次调用时直接复用，提升性能
• JSON批量处理：解析JSON成功后，批量遍历敏感字段替换，消除原代码中逐个字段检查的冗余逻辑
• 提前校验：先判断args的有效性，无效直接返回，减少不必要的计算和异常捕获
• 逻辑扁平化：每个日志项仅走一次JSON尝试或正则处理路径，消除原嵌套循环带来的重复判断

内容的提问来源于stack exchange，提问作者lord678731