如何在Jupyter中全局过滤输出以避免API密钥泄露？

1. 全局拦截标准输出/错误流 #

直接重定向sys.stdout和sys.stderr，过滤所有输出中的敏感内容——不管是自己写的print调用，还是第三方库的打印操作，都会被统一拦截处理。

示例代码：

import sys
import re

# 定义敏感匹配规则，可根据实际密钥格式调整
SENSITIVE_PATTERNS = [
    re.compile(r'(api_key|key|token|secret)=[^\&]+', re.IGNORECASE),
    re.compile(r'https?://[^/]+/[^?]+\?.*(api_key|key|token|secret)=[^\&]+', re.IGNORECASE)
]

class FilteredStream:
    def __init__(self, original_stream):
        self.original_stream = original_stream

    def write(self, data):
        # 对输出内容做敏感信息替换
        filtered_data = data
        for pattern in SENSITIVE_PATTERNS:
            filtered_data = pattern.sub(r'\1=***', filtered_data)
        self.original_stream.write(filtered_data)
        self.original_stream.flush()  # 确保内容实时输出

    def __getattr__(self, attr):
        # 传递原始流的其他方法
        return getattr(self.original_stream, attr)

# 替换标准输出和错误流
sys.stdout = FilteredStream(sys.stdout)
sys.stderr = FilteredStream(sys.stderr)

将这段代码放在Notebook的第一个单元格运行，之后所有输出都会自动过滤敏感的API密钥参数。

2. 强化全局print函数（可选补充） #

如果需要单独对print函数做针对性处理，可以覆盖全局print：

original_print = print

def filtered_print(*args, **kwargs):
    # 先转换参数为字符串，过滤后再执行打印
    filtered_args = []
    for arg in args:
        arg_str = str(arg)
        for pattern in SENSITIVE_PATTERNS:
            arg_str = pattern.sub(r'\1=***', arg_str)
        filtered_args.append(arg_str)
    original_print(*filtered_args, **kwargs)

# 替换全局print
print = filtered_print

这个方案主要针对自定义代码中的print调用，配合流拦截可以实现双重保障。

3. 注册IPython输出过滤器 #

利用IPython的输出系统，对所有单元格的返回结果进行过滤：

from IPython.core.interactiveshell import InteractiveShell

def filter_output(result):
    if isinstance(result, str):
        for pattern in SENSITIVE_PATTERNS:
            result = pattern.sub(r'\1=***', result)
    return result

# 注册字符串类型的输出过滤器
InteractiveShell.instance().display_formatter.formatters['text/plain'].for_type(str, filter_output)

这个逻辑可以拦截单元格直接返回的字符串结果中的敏感信息，比如直接在单元格中输入包含密钥的字符串时，会被自动过滤。

4. 配置Jupyter启动脚本（永久生效） #

如果希望每次启动Notebook都自动加载过滤逻辑，无需手动运行代码，可以配置Jupyter启动脚本：

1. 生成配置文件：执行命令 jupyter notebook --generate-config
2. 打开生成的jupyter_notebook_config.py，添加以下内容：

c.InteractiveShellApp.exec_lines = [
    '''
import sys
import re
from IPython.core.interactiveshell import InteractiveShell

SENSITIVE_PATTERNS = [
    re.compile(r'(api_key|key|token|secret)=[^\&]+', re.IGNORECASE),
    re.compile(r'https?://[^/]+/[^?]+\?.*(api_key|key|token|secret)=[^\&]+', re.IGNORECASE)
]

class FilteredStream:
    def __init__(self, original_stream):
        self.original_stream = original_stream

    def write(self, data):
        filtered_data = data
        for pattern in SENSITIVE_PATTERNS:
            filtered_data = pattern.sub(r'\1=***', filtered_data)
        self.original_stream.write(filtered_data)
        self.original_stream.flush()

    def __getattr__(self, attr):
        return getattr(self.original_stream, attr)

sys.stdout = FilteredStream(sys.stdout)
sys.stderr = FilteredStream(sys.stderr)

def filter_output(result):
    if isinstance(result, str):
        for pattern in SENSITIVE_PATTERNS:
            result = pattern.sub(r'\1=***', result)
    return result

InteractiveShell.instance().display_formatter.formatters['text/plain'].for_type(str, filter_output)
    '''
]

配置完成后，每次启动Jupyter都会自动加载过滤逻辑，协作伙伴共享配置后也能统一生效。

注意事项 #

• 可根据实际API密钥的格式（比如特定前缀、长度）调整SENSITIVE_PATTERNS，提升匹配精准度
• 测试时可故意打印包含密钥的URL，验证过滤逻辑是否生效
• 所有方案无需逐单元格设置;或%%capture，一次配置全局生效

内容的提问来源于stack exchange，提问作者user3061876