写入有效UTF-8后加无效字节，读指定字符数为何触发UnicodeDecodeError？

首先看写入操作：

with open('/tmp/foo.txt', 'wb') as f:
    f.write('αβγ'.encode('utf-8'))  # 每个UTF-8字符占2字节，共6个有效字节
    f.write(b'\x80')  # 无效UTF-8字节，单独存在时无法解码

当尝试读取3个字符时：

with open('/tmp/foo.txt', 'r', encoding='utf-8') as f:
    print(f.read(3))

触发错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 6: invalid start byte

原因解释 #

Python的文本模式文件对象为了提升IO效率，会使用预读缓冲区机制：它不会精确读取刚好满足当前字符请求的字节数，而是一次性读取更多字节到内存缓冲区中，后续读取优先从缓冲区获取数据。

在这个案例中，read(3)请求3个UTF-8字符（需要6字节），但文件对象可能预读了更多字节（比如包含了后面的0x80）。UTF-8解码器会尝试解码整个缓冲区的字节序列，而不仅仅是前6个有效字节，因此遇到了无效的0x80字节，触发了解码错误。

解决办法 #

如果需要精确读取指定数量的有效字符且避免预读带来的错误，可以改用二进制模式读取对应字节数，再手动解码：

with open('/tmp/foo.txt', 'rb') as f:
    # 读取刚好3个UTF-8字符对应的6字节
    valid_bytes = f.read(6)
    print(valid_bytes.decode('utf-8'))  # 正常输出 αβγ

内容的提问来源于stack exchange，提问作者rgov