Python3包装器开发：UTF-8解码错误排查求助

你遇到的这个报错，核心原因是HTML页面的实际编码并非UTF-8，但你用UTF-8编码去解码导致的。报错里的0xb1字节不属于UTF-8的有效起始字节范围，常见于GB2312、ISO-8859-1这类编码的页面。下面给你几个实用的解决办法：

方法1：尝试指定其他编码直接解码 #

如果能猜到页面的实际编码（比如中文页面常使用GBK/GB2312），可以直接指定编码读取：

with open(html_file, 'r', encoding='GBK') as f:
    content = f.read()

如果不确定编码，也可以先用ISO-8859-1（单字节编码，不会抛出解码错误）读取，再后续处理：

with open(html_file, 'r', encoding='ISO-8859-1') as f:
    content = f.read()

方法2：自动检测页面编码（推荐） #

使用chardet库自动检测文件的真实编码，这是最稳妥的方式：

1. 先安装chardet：

pip install chardet

2. 然后用以下代码读取文件：

import chardet

# 以二进制模式读取原始数据
with open(html_file, 'rb') as f:
    raw_data = f.read()

# 检测编码
detected_encoding = chardet.detect(raw_data)['encoding']
print(f"检测到的编码：{detected_encoding}")

# 用检测到的编码解码
content = raw_data.decode(detected_encoding)

方法3：从HTML元标签获取编码 #

有些HTML页面会在meta标签里声明编码，你可以先解析这个标签来获取正确编码：

from bs4 import BeautifulSoup

with open(html_file, 'rb') as f:
    raw_data = f.read()

soup = BeautifulSoup(raw_data, 'html.parser')
meta_tag = soup.find('meta', attrs={'http-equiv': 'Content-Type'})

if meta_tag:
    content_type = meta_tag.get('content')
    # 提取编码部分
    encoding = content_type.split('charset=')[-1].strip()
else:
    # 如果没找到meta标签， fallback到chardet检测
    encoding = chardet.detect(raw_data)['encoding']

content = raw_data.decode(encoding)

最后一招：忽略错误字节（不推荐） #

如果实在没办法，且可以接受少量文本损坏，你可以在解码时忽略错误字节：

with open(html_file, 'r', encoding='utf-8', errors='ignore') as f:
    content = f.read()
# 或者用?替换错误字节
with open(html_file, 'r', encoding='utf-8', errors='replace') as f:
    content = f.read()

注意：这种方式会丢失或替换部分字符，仅作为临时应急方案。

内容的提问来源于stack exchange，提问作者claudio gugliotta