UTF-16编码下U+1F60A emoji在Python读取时异常换行问题排查

问题本质 #

核心差异出在编码解析逻辑上：

• Notepad++这类编辑器会先通过文件开头的BOM \xff\xfe识别出这是UTF-16LE编码，随后按UTF-16的规则处理字节流——它会把两个字节作为一个Unicode字符单元解析，不会把单个0x0a（即\n字节）当成换行符。因为UTF-16中真正的换行符是Unicode字符U+000A，对应UTF-16LE的字节序列是0x0a 0x00，而非单个0x0a字节。
• 而Python的字节模式rb完全是无编码感知的，只要遇到\n（0x0a）就分割行，不管这个字节是不是UTF-16字符的一部分。你的😊表情（U+1F60A）在UTF-16LE中是代理对0xd8 0x3d（高代理）+0xde 0x0a（低代理），其中低代理的第一个字节就是0x0a，所以被字节模式误判成了换行，导致代理对被拆分。

解决方法 #

1. 用文本模式指定编码读取（推荐）

放弃字节模式，打开文件时指定utf-16le编码，让Python自动处理UTF-16的字符边界，按Unicode层面的换行符分割行：

with open("file_name.csv", "r", encoding="utf-16le") as f:
    for line in f:
        print(line)

这样就能完整识别表情，不会出现非法拆分的情况。

2. 字节模式下手动适配UTF-16换行规则

如果因为大数据框架限制必须用字节模式处理，需要：

• 明确UTF-16LE的换行符是b'\x0a\x00'（对应Unicode U+000A），而非单个b'\x0a'
• 读取完整字节流后，按UTF-16LE的换行符分割，再解码成Unicode字符。示例：

with open("file_name.csv", "rb") as f:
    content = f.read()
# 按UTF-16LE换行符分割
byte_lines = content.split(b'\x0a\x00')
# 逐行解码处理
for byte_line in byte_lines:
    if byte_line:
        print(byte_line.decode('utf-16le'))

如果文件包含回车符，还需额外处理b'\x0d\x00'（对应U+000D），根据实际换行格式调整分割逻辑。

关键结论 #

所有支持多字节编码的工具，都是先按编码规则把字节转换成Unicode字符，再在字符层面处理换行；而字节模式是无编码感知的，只会按单字节换行符分割。解决问题的核心是在编码感知的层面处理换行，而非直接操作原始字节。

内容的提问来源于stack exchange，提问作者rodvictor