Python3解析混合Unicode码点与UTF-8编码的二进制文件字符串

核心判断规则 #

这类混合编码的文本不需要提前判断编码类型，字节流本身有明确的结构边界：

• 0x00-0x7F范围的单字节：属于ASCII，两种编码映射结果完全一致，无歧义
• 标准UTF-8多字节序列有固定的格式约束：
  • 0xC0-0xDF范围的起始字节，必须后跟1个0x80-0xBF范围的续字节，组成合法双字节序列
  • 0xE0-0xEF范围的起始字节，必须后跟2个连续的0x80-0xBF范围的续字节，组成合法三字节序列
  • 0xF0-0xF7范围的起始字节，必须后跟3个连续的0x80-0xBF范围的续字节，组成合法四字节序列
• 所有不满足上述UTF-8结构的高位字节（0x80-0xFF），都是按单字节直接映射到对应Unicode码点（逻辑和ISO-8859-1/latin-1完全一致）

用你给出的两个示例验证规则匹配度：

• 单字节0xFD：按UTF-8规则本应作为四字节序列开头，需要后跟3个续字节，但后续紧跟的是0x74（ASCII范围），不满足UTF-8结构，因此直接映射为chr(0xFD)即ý，和实际文本一致
• 双字节0xC2 0xAE：0xC2是双字节UTF-8的合法起始，后续0xAE刚好符合续字节范围，满足UTF-8结构，按UTF-8解码得到®，和实际文本一致

精确解码实现 #

逐字节扫描二进制流，严格按照UTF-8结构规则匹配，不使用任何模糊容错逻辑，保证输出结果和原文本1:1对应：

def decode_mixed_encoding(data: bytes) -> str:
    output = []
    pos = 0
    total = len(data)
    while pos < total:
        current_byte = data[pos]
        # 单字节ASCII，直接处理
        if current_byte < 0x80:
            output.append(chr(current_byte))
            pos += 1
            continue
        
        # 尝试匹配双字节UTF-8序列
        if 0xC0 <= current_byte <= 0xDF:
            if pos + 1 < total and 0x80 <= data[pos+1] <= 0xBF:
                output.append(data[pos:pos+2].decode("utf-8"))
                pos += 2
                continue
        
        # 尝试匹配三字节UTF-8序列
        elif 0xE0 <= current_byte <= 0xEF:
            if (pos + 2 < total 
                and 0x80 <= data[pos+1] <= 0xBF 
                and 0x80 <= data[pos+2] <= 0xBF):
                output.append(data[pos:pos+3].decode("utf-8"))
                pos += 3
                continue
        
        # 尝试匹配四字节UTF-8序列
        elif 0xF0 <= current_byte <= 0xF7:
            if (pos + 3 < total 
                and 0x80 <= data[pos+1] <= 0xBF 
                and 0x80 <= data[pos+2] <= 0xBF
                and 0x80 <= data[pos+3] <= 0xBF):
                output.append(data[pos:pos+4].decode("utf-8"))
                pos += 4
                continue
        
        # 当前高位字节不满足任何合法UTF-8结构，按单字节码点映射
        output.append(chr(current_byte))
        pos += 1
    return "".join(output)

效果验证 #

两个测试用例的运行结果完全匹配预期：

1. 单字节高位字符测试

   sample1 = bytes.fromhex("4D6F6A652053706F72652076FD74766F7279")
   print(decode_mixed_encoding(sample1))  # 输出：Moje Spore výtvory
   

2. 标准UTF-8多字节测试

   sample2 = bytes.fromhex("4C45474FC2AE")
   print(decode_mixed_encoding(sample2))  # 输出：LEGO®
   

关键注意事项 #

• 不要使用Python自带的带容错的解码方式（比如decode('utf-8', errors='replace')），这类方式会随机替换非法字节为占位符，完全无法满足校验和生成的精确性要求
• 代码逻辑严格基于字节结构判断，不需要提前对每个字符串做编码类型嗅探，自动适配两种编码的边界
• 对于文件末尾不完整的多字节截断场景，代码会将截断的起始字节按单字节映射处理，不会触发解码崩溃

内容的提问来源于stack exchange，提问作者tralph3