Python使用BeautifulSoup无法抓取网页robots meta标签问题求助

问题产生原因 #

• 解析器容错能力不足：Python 内置的html.parser对不规范的HTML结构兼容性差，很多时候会漏解析头部的meta标签，其他语言爬虫配套的解析器通常容错率更高，因此可以正常识别。
• 请求头格式错误：示例代码中的Accept字段结尾为/;q=0.8，不符合HTTP标准的*/*;q=0.8格式，可能导致站点返回非完整的HTML内容，缺失对应robots标签。
• 大小写匹配问题：部分站点的robots标签name属性为全大写ROBOTS，BeautifulSoup默认查找是大小写敏感的，用小写robots检索会匹配失败。
• 编码识别错误：requests的res.text会自动猜测页面编码，若猜测错误会导致传入BeautifulSoup的内容乱码，无法识别目标标签。

修复方案 #

1. 修正请求头字段 #

将错误的Accept字段改为标准格式：

headers = {
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'en-US,en;q=0.8',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87  Safari/537.36',
        # 修正此处的Accept格式
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 
        'Cache-Control': 'max-age=0', 'Connection': 'keep-alive', 
    }

2. 更换高容错解析器 #

优先使用lxml解析器（需提前安装：pip install lxml），同时手动指定编码避免乱码：

# 用res.content手动指定编码解码，替代自动识别的res.text
soup = BeautifulSoup(res.content.decode('utf-8', errors='ignore'), 'lxml')

如果lxml仍无法识别，可更换容错率更高的html5lib解析器，安装命令：pip install html5lib，将上述代码中的lxml替换为html5lib即可。

3. 优化查找逻辑，忽略大小写 #

引入正则匹配实现大小写不敏感的标签检索，同时补充空值判断避免 AttributeError 报错：

import re

x = soup.find('meta', attrs={'name': re.compile(r'^robots$', re.IGNORECASE)})
out = x.get("content", None) if x else None

内容的提问来源于stack exchange，提问作者Bill My