Jupyter重定向stderr报io.UnsupportedOperation:fileno解决方案

问题根因 #

• 基于sys.stderr.fileno()的重定向方案仅在Python层替换了文件描述符指向，仅能捕获Python代码输出到stderr的内容
• Jupyter Notebook启动时会将sys.stderr替换为自定义的Python类文件对象，该对象未绑定真实操作系统层的文件描述符，因此调用fileno()会直接抛出io.UnsupportedOperation异常
• 尝试使用sys.__stderr__.fileno()重定向无效的原因是：Jupyter启动后sys.__stderr__对应的原始文件描述符已经脱离了当前进程的标准错误输出链路，C库通过fprintf输出的内容不会写入到该描述符，自然无法被捕获
• C语言编译的动态库在Windows下调用fprintf(stderr, ...)时，最终会通过Win32 API向进程绑定的STD_ERROR_HANDLE（句柄值为-12）写入内容，只有在操作系统内核层重定向该句柄，才能稳定捕获所有C层输出，不受Python层sys模块重写的影响。

实现代码（纯内置依赖，适配32位Python+Jupyter） #

不需要安装第三方库，直接通过ctypes调用Windows kernel32接口实现句柄级重定向：

import ctypes
from ctypes import wintypes

# 初始化Win32接口
kernel32 = ctypes.WinDLL("kernel32", use_last_error=True)
msvcrt = ctypes.CDLL("msvcrt")

# 常量定义
STD_ERROR_HANDLE = wintypes.DWORD(-12)
INVALID_HANDLE_VALUE = wintypes.HANDLE(-1).value
PIPE_BUF_SIZE = 4096

# 绑定API函数签名，兼容32位环境
kernel32.GetStdHandle.restype = wintypes.HANDLE
kernel32.SetStdHandle.argtypes = [wintypes.DWORD, wintypes.HANDLE]
kernel32.SetStdHandle.restype = wintypes.BOOL
kernel32.CreatePipe.argtypes = [wintypes.PHANDLE, wintypes.PHANDLE, ctypes.c_void_p, wintypes.DWORD]
kernel32.CreatePipe.restype = wintypes.BOOL
kernel32.ReadFile.argtypes = [wintypes.HANDLE, wintypes.LPVOID, wintypes.DWORD, wintypes.LPDWORD, ctypes.c_void_p]
kernel32.ReadFile.restype = wintypes.BOOL
kernel32.CloseHandle.argtypes = [wintypes.HANDLE]
kernel32.CloseHandle.restype = wintypes.BOOL
msvcrt.fflush.argtypes = [ctypes.c_void_p]


def call_c_and_capture_stderr(c_callable, *args, **kwargs):
    """
    调用C库封装的Python可调用对象，返回(调用返回值, 捕获到的stderr字符串)
    """
    # 备份原始stderr句柄
    orig_stderr_h = kernel32.GetStdHandle(STD_ERROR_HANDLE)
    if orig_stderr_h == INVALID_HANDLE_VALUE:
        raise ctypes.WinError(ctypes.get_last_error())

    # 创建匿名管道用于接收重定向的输出
    read_h = wintypes.HANDLE()
    write_h = wintypes.HANDLE()
    if not kernel32.CreatePipe(ctypes.byref(read_h), ctypes.byref(write_h), None, PIPE_BUF_SIZE):
        raise ctypes.WinError(ctypes.get_last_error())

    captured = b""
    try:
        # 把进程标准错误句柄替换为管道写端
        if not kernel32.SetStdHandle(STD_ERROR_HANDLE, write_h):
            raise ctypes.WinError(ctypes.get_last_error())
        
        # 执行目标C库调用
        ret = c_callable(*args, **kwargs)

        # 刷新C运行库缓冲区，避免输出滞留
        msvcrt.fflush(None)
        # 关闭写端，标记写入完成
        kernel32.CloseHandle(write_h)
        write_h = wintypes.HANDLE(INVALID_HANDLE_VALUE)

        # 从管道读端拉取所有输出
        buf = ctypes.create_string_buffer(PIPE_BUF_SIZE)
        read_len = wintypes.DWORD(0)
        while kernel32.ReadFile(read_h, buf, PIPE_BUF_SIZE, ctypes.byref(read_len), None) and read_len.value:
            captured += buf.raw[:read_len.value]
    finally:
        # 恢复原始stderr句柄，清理句柄资源
        kernel32.SetStdHandle(STD_ERROR_HANDLE, orig_stderr_h)
        if write_h.value != INVALID_HANDLE_VALUE:
            kernel32.CloseHandle(write_h)
        kernel32.CloseHandle(read_h)

    # Windows中文环境默认编码为GBK，可根据C库输出编码调整
    return ret, captured.decode("gbk", errors="replace")

使用说明 #

• 调用方式：将原本直接调用的C库封装函数作为第一个参数传入call_c_and_capture_stderr，后续参数按原函数入参顺序传入即可，示例：

  import sys
  # 原调用方式：result = your_c_lib.some_hw_ctrl_func(param1, param2)
  result, err_msg = call_c_and_capture_stderr(your_c_lib.some_hw_ctrl_func, param1, param2)
  if err_msg:
      # 处理捕获到的C层错误信息，可按需打印到Jupyter输出单元
      print(f"C库错误输出：{err_msg}", file=sys.stderr)
  

• 该方案完全在操作系统句柄层实现重定向，和Python层sys.stderr的实现无关，同时兼容原生Python解释器和Jupyter Notebook环境
• 无需修改C库源码，无第三方依赖，适配Windows 32位Python环境，不保证跨平台兼容性
• 如果C库输出为英文/UTF-8编码，将解码部分的gbk替换为对应编码即可

内容的提问来源于stack exchange，提问作者Ardakaniz