Python编码判定规则及Windows环境下重定向运行的编码疑问

脚本内容 #

import sys
print(f"Current encoding: {sys.stdout.encoding}")
print(some_randomized_chars)

注：原脚本未导入sys模块，此处补充以保证可运行

运行场景说明 #

• 正常运行：通过PyCharm「Run」功能或内置PowerShell终端执行python producer.py，输出Current encoding: utf-8，所有内容（含偶尔乱码字符）均可正常打印到终端。
• 重定向运行：执行python producer.py > test.txt时，生成的test.txt第一行显示Current encoding: cp1252，且偶尔会在终端抛出编码错误：

  File "AppData\Local\Programs\Python\Python311\Lib\encodings\cp1252.py", line 19, in encode
      return codecs.charmap_encode(input,self.errors,encoding_table)[0]
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  UnicodeEncodeError: 'charmap' codec can't encode character '\x9e' in position 6: character maps to <undefined>
  

• 文件编码不符预期：预期重定向生成的test.txt编码为cp1252（ANSI Latin），但用文本编辑器打开时显示为UTF-16 LE。

疑问解答 #

1. 正常运行时为何编码是UTF-8？ #

PyCharm的终端（包括Run输出窗口和内置PowerShell）默认会强制Python使用UTF-8作为标准输出编码：要么通过设置PYTHONIOENCODING=utf-8环境变量，要么直接修改了Python标准输出流的编码配置。同时，现代Windows终端本身也支持UTF-8，Python会自动适配这个编码，因此输出utf-8。

2. 重定向时编码切换为cp1252且偶尔崩溃？ #

当使用>重定向输出到文件时，Python会读取Windows系统的**活动代码页（ACP）**作为标准输出的编码。英文Windows系统默认ACP为cp1252，所以此时sys.stdout.encoding会切换为cp1252。

崩溃的原因是some_randomized_chars中包含了cp1252无法映射的字符（如\x9e）。cp1252是单字节字符集，仅覆盖有限的Unicode字符，当Python尝试用它编码超出范围的字符时，就会抛出UnicodeEncodeError。而正常运行时用UTF-8，几乎能覆盖所有Unicode字符，因此不会报错。

3. 为何文件实际显示为UTF-16 LE而非预期的cp1252？ #

这是文本编辑器的自动编码检测机制误判导致的。如果test.txt中包含特定字节序列（比如连续的非ASCII字符），编辑器可能错误识别为UTF-16 LE。要确认实际编码，可以通过以下方式：

• 查看文件十六进制内容：cp1252是单字节编码，无BOM；UTF-16 LE是双字节编码，通常以FF FE字节序标记开头。
• 使用Python的chardet库检测：

  import chardet
  with open('test.txt', 'rb') as f:
      print(chardet.detect(f.read()))
  

如果文件无BOM且为单字节存储，实际编码就是cp1252，只是编辑器识别错误。

内容的提问来源于stack exchange，提问作者felisimo