Linux下Python3脚本解析非ASCII UTF-8参数异常原因及解决

异常原因 #

这既不是代码实现错误，也不是Linux本地化环境问题，核心是Python版本差异导致的命令行参数解码逻辑不同：

• 旧版Python（如3.7）在Linux平台处理命令行参数时，若系统传递的字节序列无法被正确解码为UTF-8，会通过surrogateescape机制将无效字节转换为U+DCxx格式的代理字符（示例中的\udce2\udc80\udc99就是这类字符）。这类代理字符并非合法Unicode字符，直接调用encode()时会触发UnicodeEncodeError。
• macOS上的Python 3.11采用了更新的参数解码逻辑，能正确识别并解码UTF-8格式的参数，因此无异常。
• 从输出看，Linux和macOS的本地化编码均为UTF-8，排除环境编码设置问题。

跨平台处理方案 #

以下几种方式可让脚本在所有操作系统上正确处理含非ASCII字符的命令行参数：

1. 显式指定代理字符处理策略 #

修改编码时使用surrogateescape错误处理方式，将代理字符还原为原始字节：

import locale
import sys

print("filesystem encoding is:      ", sys.getfilesystemencoding())
print("local preferred encoding is: ", locale.getpreferredencoding())

print("sys.argv is:")
print(sys.argv)

for a in sys.argv:
   print("Next arg is: ", a)
   # 用surrogateescape处理代理字符，避免编码报错
   print("UTF-8 encoding of arg is: ", a.encode('utf-8', 'surrogateescape'))

2. 直接获取原始字节序列（Python 3.10+） #

使用sys.argv_bytes属性直接获取命令行参数的原始字节，绕开解码环节，适合需要精确字节数据的场景：

import locale
import sys

print("filesystem encoding is:      ", sys.getfilesystemencoding())
print("local preferred encoding is: ", locale.getpreferredencoding())

print("sys.argv_bytes is:")
print(sys.argv_bytes)

for b in sys.argv_bytes:
   print("Next arg bytes is: ", b)
   # 按需解码为字符串，保留代理字符处理逻辑
   decoded_arg = b.decode(sys.getfilesystemencoding(), 'surrogateescape')
   print("Decoded arg is: ", decoded_arg)

3. 升级Python版本 #

若环境允许，将Linux上的Python版本升级至3.9及以上。新版Python优化了Linux平台的命令行参数解码逻辑，能更准确地处理UTF-8参数，避免生成无效代理字符。

内容的提问来源于stack exchange，提问作者Jeremy Friesner