如何解决Python爬虫爬取数据因编码格式不同导致解析不完整的问题

问题原因 #

你遇到的乱码和解码报错本质是目标站点编码不统一导致的。你爬的这类老站默认采用GBK/GB2312编码，但站点运营人员录入日文片名、特殊符号时，部分字符不在GBK收录范围内，原始页面就存在编码冲突，手动指定单一编码解码必然会出现无法识别的字符，甚至抛出UnicodeDecodeError。
绝大多数正常内容可解码、仅日文等特殊字符乱码就是这个问题的典型特征。

解决方案 #

1. 优先使用自动编码检测 #

不要手动硬写utf-8/gbk作为解码格式，拿到requests响应后先执行：

r.encoding = r.apparent_encoding

apparent_encoding会自动调用chardet检测当前响应的实际编码，适配性远高于手动指定。

2. 增加解码容错配置 #

如果检测编码后依然报错，可以直接读取二进制响应手动解码，指定errors参数避免程序中断：

# ignore直接丢弃无法解码的字符，replace会替换为�避免报错
text = r.content.decode(r.encoding, errors="replace")

3. 乱码自动修复 #

针对残留的日文等特殊字符乱码，可以使用第三方库ftfy做自动修复，它专门处理各类编码错误导致的乱码问题：

import ftfy
fixed_text = ftfy.fix_text(text)

处理后的文本基本可以修复90%以上的日文、繁体中文乱码。

4. 兜底适配方案 #

如果上述方案都不生效，可以直接提取当前页面meta标签指定的编码作为解码依据：

# 先拿二进制内容解析meta标签的编码
html = etree.HTML(r.content)
page_charset = html.xpath('//meta/@charset')
page_charset = page_charset[0] if page_charset else 'gbk'
text = r.content.decode(page_charset, errors='replace')

内容的提问来源于stack exchange，提问作者WR-mose