Python读取HTML文件触发UnicodeDecodeError错误求助

这个错误是因为Python默认用系统编码（这里是cp1252）打开HTML文件，但文件实际编码与该编码不兼容，导致无法解码特定字节。以下是几种解决办法：

• 指定文件编码打开（推荐）
  大部分现代网页采用UTF-8编码，直接在open函数中指定encoding='utf-8'即可：

  from bs4 import BeautifulSoup
  
  with open('website.html', encoding='utf-8') as file:
      contents = file.read()
  
  soup = BeautifulSoup(contents, "html.parser")
  all_anchor_tags = soup.find_all(name="a")
  for tag in all_anchor_tags:
      print(tag.get("href"))
  heading = soup.find(name="h1")
  print(heading)
  

• 跳过无法解码的字符（应急用）
  如果暂时无法确定编码，可以添加errors='ignore'参数跳过错误字符（会丢失部分内容，不推荐长期使用）：

  with open('website.html', errors='ignore') as file:
      contents = file.read()
  

• 自动检测文件编码
  使用chardet库检测文件实际编码，步骤如下：

  1. 安装chardet：

     pip install chardet
     

  2. 修改代码：

     import chardet
     from bs4 import BeautifulSoup
     
     # 检测文件编码
     with open('website.html', 'rb') as file:
         detect_result = chardet.detect(file.read())
     
     # 用检测到的编码打开文件
     with open('website.html', encoding=detect_result['encoding']) as file:
         contents = file.read()
     
     soup = BeautifulSoup(contents, "html.parser")
     all_anchor_tags = soup.find_all(name="a")
     for tag in all_anchor_tags:
         print(tag.get("href"))
     heading = soup.find(name="h1")
     print(heading)
     

内容的提问来源于stack exchange，提问作者Arpit Sengar