Python含希伯来文与非断空格的字节串UTF-8解码报错解决方案问询

你的字节串里的0xa0是Windows-1255（希伯来文常用编码）的非断空格，但它不符合UTF-8的编码规则，所以直接用utf-8解码会报错。下面是几种实用的处理方案：

方案1：用正确的编码直接解码 #

如果能确定原始内容用的是Windows-1255编码，直接指定编码解码即可：

t = b'\xd7\x91\xd7\x9c\xd7\xa9\xd7\x95\xd7\xa0\xd7\x99\xd7\xaa:\xa0 '
print(t.decode('windows-1255'))  # 输出：בשנוית:  

Windows-1255是希伯来文场景下常用的单字节编码，0xa0在这里对应Unicode的非断空格U+00A0，解码后能正常显示。

方案2：修复UTF-8字节串再解码 #

如果大部分内容是UTF-8，只有个别非法字节（比如单独的0xa0），可以手动修复后解码：

快速处理（忽略/替换非法字符） #

用decode方法的errors参数快速处理，适合对精度要求不高的场景：

t = b'\xd7\x91\xd7\x9c\xd7\xa9\xd7\x95\xd7\xa0\xd7\x99\xd7\xaa:\xa0 '
# 用�替换非法字符
print(t.decode('utf-8', errors='replace'))  # 输出：בשנוית:� 
# 直接忽略非法字符
print(t.decode('utf-8', errors='ignore'))   # 输出：בשנוית: 

精准修复非断空格 #

UTF-8中，非断空格U+00A0对应的字节是\xc2\xa0，把单独的\xa0替换成这个组合即可正常解码：

t = b'\xd7\x91\xd7\x9c\xd7\xa9\xd7\x95\xd7\xa0\xd7\x99\xd7\xaa:\xa0 '
fixed_t = t.replace(b'\xa0', b'\xc2\xa0')
print(fixed_t.decode('utf-8'))  # 输出：בשנוית:  

方案3：自动检测编码（适合不确定编码的场景） #

如果不知道原始编码，可以用chardet库自动检测：
先安装chardet：

pip install chardet

然后检测解码：

import chardet

t = b'\xd7\x91\xd7\x9c\xd7\xa9\xd7\x95\xd7\xa0\xd7\x99\xd7\xaa:\xa0 '
detect_result = chardet.detect(t)
print(detect_result)  # 输出通常是：{'encoding': 'Windows-1255', 'confidence': 0.99, 'language': 'Hebrew'}
print(t.decode(detect_result['encoding']))

内容的提问来源于stack exchange，提问作者Ofer Rahat