Python3.9非常规Unicode字节文件解码问题求助

你的核心问题抓准了：这个文件存储的不是UTF-8、Latin-1这类编码后的字符字节，而是Unicode码点的原始整数字节形式。比如0x00F2是字符ò的Unicode码点（十进制242），不是它的UTF-8编码0xC3B2。所以不能直接用decode()方法，得先把字节转成码点整数，再转成字符。

具体实现步骤 #

1. 确定字节序 #

从你给出的例子0x00_41→"A"（码点0x41）、0x00_F2→"ò"（码点0xF2）能看出来，文件采用大端字节序（高位字节在前）。如果是小端字节序，0x4100才会对应"A"。

2. 解析字节为Unicode字符 #

根据文件里码点的存储方式分两种情况处理：

情况一：所有码点都用2字节大端存储

如果连ASCII字符都用2字节存储（比如"A"是0x0041），直接按2字节批量拆分解析：

byte_data = b'\x00\x41\x00\xf2\x00\x65\x03\x01'

# 按2字节大端拆分，转换为码点整数
code_points = [int.from_bytes(byte_data[i:i+2], byteorder='big') for i in range(0, len(byte_data), 2)]

# 转换为最终字符串
result = ''.join(chr(cp) for cp in code_points)
print(result)  # 输出：Aòé

情况二：混合1字节（ASCII）和2字节码点

如果ASCII字符（码点0-127）用1字节存储，其他字符用2字节存储，需要判断每个字节的范围再解析：

byte_data = b'\x41\x00\xf2\x65\x03\x01'
result = []
i = 0
while i < len(byte_data):
    # 1字节ASCII范围（0x00-0x7F）
    if byte_data[i] <= 0x7F:
        cp = byte_data[i]
        i += 1
    else:
        # 2字节大端解析非ASCII码点
        cp = int.from_bytes(byte_data[i:i+2], byteorder='big')
        i += 2
    result.append(chr(cp))

print(''.join(result))  # 输出：Aòé

3. 验证测试用例 #

• 0x00_41 → 转码点0x41 → chr(0x41) → "A"
• 0x00_F2 → 转码点0xF2 → chr(0xF2) → "ò"
• 0x00_65 + 0x03_01 → 码点0x65（e）+0x301（组合重音） → 组合成"é"

为什么之前的解码方式无效？ #

• utf-8：UTF-8对大于0x7F的字节有严格的组合规则（比如0xF2需要后续字节配合），单独解码会直接触发UnicodeDecodeError。
• latin-1：只是把单字节直接映射到Unicode码点0x00-0xFF，所以0x00会显示为空字符（你看到的�是终端无法显示U+0000的表现），根本处理不了多字节的码点存储。
• unicode_escape：这是用来解析Python字符串里的转义序列（比如\u0041）的，不是处理原始码点字节的。

内容的提问来源于stack exchange，提问作者krose