Python3.6下BeautifulSoup4用html.parser解析失败，求排查方案

嘿，我看到你遇到了BeautifulSoup解析失败的问题，先别着急，咱们一步步来找问题所在～

1. 最关键的错误：导入语句写错了 #

你现在的导入代码是：

from BeautifulSoup.bs4 import BeautifulSoup

这是错误的！因为安装的beautifulsoup4包，正确的导入路径是bs4，不是BeautifulSoup.bs4。你需要改成：

from bs4 import BeautifulSoup

2. 网站可能拦截了你的请求 #

很多网站会检测请求的User-Agent，如果是默认的urllib请求头，会被判定为爬虫而拒绝返回内容。你需要给请求添加模拟浏览器的请求头：

import urllib.request
from bs4 import BeautifulSoup

webpage = "https://www.tradingview.com/markets/currencies/rates-major/"
# 添加请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
# 创建带有headers的请求对象
req = urllib.request.Request(webpage, headers=headers)
websource = urllib.request.urlopen(req)
# 读取内容并解码为utf-8编码的字符串
html_content = websource.read().decode('utf-8')
# 使用解析器初始化BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
# 测试：打印soup的前500个字符，确认是否解析成功
print(soup.prettify()[:500])

3. 再次确认解析器的安装 #

虽然你说已经安装了html5lib和lxml，但可以再重新安装一次确保没有问题（针对Python3.6，注意用pip3）：

pip3 install lxml html5lib beautifulsoup4

4. 检查Python版本兼容性 #

Python3.6是比较老的版本了，建议确认你安装的beautifulsoup4版本是兼容3.6的。beautifulsoup4的4.9.x版本及以下是支持Python3.6的，如果你安装的是最新版本可能不兼容，可以指定版本安装：

pip3 install beautifulsoup4==4.9.3

按照上面的步骤调整后，应该就能正常解析网页内容啦！

内容的提问来源于stack exchange，提问作者gala question