使用BeautifulSoup爬取Smogon宝可梦页面时无法获取指定div标签
无法匹配目标div的核心原因
- 服务端基础拦截:urllib默认发起的请求不携带常规浏览器的User-Agent标识,Smogon服务端会直接拦截这类裸爬虫请求,返回的响应不是正常浏览器访问时的完整HTML,自然找不到对应类名的节点。
- 前端动态渲染机制:Smogon的图鉴板块基于前端框架实现客户端渲染,初始返回的HTML中根本没有插入
PokemonAltRow类的元素——这类节点是浏览器拿到JS脚本后,在本地执行逻辑、拉取完接口数据才生成到DOM树里的,直接用urllib拿到的初始响应内容里压根不存在这些元素。 - 动态类名匹配失效:这类前端框架生成的组件类名,一般会携带随机哈希后缀做样式隔离,实际类名往往不是固定的
PokemonAltRow,而是类似PokemonAltRow_随机字符串的形式,你用精确类名做完全匹配的逻辑,会直接因为字符串不等匹配失败。
可落地的修正方案
- 给请求补充合法的浏览器身份头,绕过基础爬虫校验,替换原有裸请求逻辑:
import urllib.request my_url = 'https://www.smogon.com/dex/rb/pokemon/' req = urllib.request.Request( my_url, headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"} ) uClient = uReq(req) page_html = uClient.read() uClient.close() - 优先抓取页面背后的结构化数据接口:这类站点的宝可梦列表数据都是以独立JSON格式返回的,不需要依赖前端渲染后的DOM节点,直接请求对应JSON接口就能拿到全量结构化数据,效率远高于解析渲染后的HTML。
- 调整类名匹配逻辑,改用正则做模糊匹配,规避动态类名后缀的影响:
import re # 原有HTML解析逻辑保持不变 page_soup = soup(page_html, "html.parser") # 模糊匹配class名包含PokemonAltRow的div节点 pokemon = page_soup.findAll("div", {"class": re.compile(r"PokemonAltRow")})
内容的提问来源于stack exchange,提问作者Derrick
相关产品推荐
相关产品推荐

