Windows下子进程调用时os.device_encoding返回None引发解码错误，如何强制子进程使用指定编码？

看起来你遇到的是Windows下子进程输出编码不匹配的典型问题——直接运行脚本时终端会提供正确的控制台编码（cp850），但用subprocess.Popen捕获输出时，子进程没有关联真实终端，导致os.device_encoding返回None，最终 fallback 到cp1252编码，无法解码含特殊字符（比如ü）的编译器输出，触发UnicodeDecodeError。

先把你的场景和代码再理清楚：

问题复现代码 #

外部包中无法修改的subproc.py

import os
import sys
import locale
import subprocess
from distutils.ccompiler import new_compiler

ccompiler = new_compiler()
ccompiler.initialize()
cc = subprocess.check_output(f"{ccompiler.cc}", stderr=subprocess.STDOUT, shell=True)
encoding = os.device_encoding(sys.stdout.fileno()) or locale.getpreferredencoding()
print("Encoding:", encoding)
compiler_name = cc.decode(encoding).partition("\n")[0].strip()
print("Compiler name:", compiler_name)

你的子进程调用脚本call_subprocess.py

import subprocess

subprocess.Popen(
    [
        "python",
        "C:/path/to/subproc.py",
    ],
    stdout=subprocess.PIPE,
    stderr=subprocess.STDOUT,
)

你已经尝试过的方案 #

• 给Popen显式指定encoding="cp850"和text=True
• 给子进程环境变量设置PYTHONIOENCODING=utf-8
• 改用subprocess.run()替代Popen
• 上述方案的各种组合

可行的解决方案 #

结合你无法修改外部包代码的限制，这里有几个针对性的解决思路：

方案1：不捕获子进程stdout（最简单的思路）

如果业务场景允许，直接去掉stdout=subprocess.PIPE和stderr=subprocess.STDOUT，让子进程继承当前终端的编码环境。这样os.device_encoding就能正常返回cp850，解码自然不会出错。修改后的调用代码：

import subprocess

subprocess.Popen(
    [
        "python",
        "C:/path/to/subproc.py",
    ]
)

方案2：强制修改子进程的locale默认编码

如果必须捕获输出，可以通过给子进程注入代码，强制locale.getpreferredencoding()返回cp850。你可以写一个中间脚本作为启动入口：

# 中间脚本：wrapper_subproc.py
import os
import sys
# 先强制修改locale的默认编码为cp850
import _locale
_locale._getdefaultlocale = lambda *args: ["en_US", "cp850"]
# 再导入并运行原subproc.py
sys.path.insert(0, os.path.dirname("C:/path/to/subproc.py"))
import subproc

然后修改你的调用代码，指向这个中间脚本：

import subprocess

subprocess.Popen(
    [
        "python",
        "C:/path/to/wrapper_subproc.py",
    ],
    stdout=subprocess.PIPE,
    stderr=subprocess.STDOUT,
)

注意：这个方法依赖Windows的cp850编码，非西欧地区的机器可能不适用，但你的场景下刚好匹配。

方案3：修改系统区域设置（不推荐，需全局修改）

开启Windows的UTF-8系统编码支持：打开控制面板→时钟和区域→区域→管理→更改系统区域设置→勾选“Beta版：使用Unicode UTF-8提供全球语言支持”，重启后系统默认编码会统一为UTF-8，不管直接运行还是子进程调用都不会有解码问题。但这个方法需要修改系统设置，不适合需要在多台机器部署的场景。

备注：内容来源于stack exchange，提问作者Energeneer