You need to enable JavaScript to run this app. 使用BeautifulSoup爬取Smogon宝可梦页面时无法获取指定div标签
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取Smogon宝可梦页面时无法获取指定div标签

无法匹配目标div的核心原因
  • 服务端基础拦截:urllib默认发起的请求不携带常规浏览器的User-Agent标识,Smogon服务端会直接拦截这类裸爬虫请求,返回的响应不是正常浏览器访问时的完整HTML,自然找不到对应类名的节点。
  • 前端动态渲染机制:Smogon的图鉴板块基于前端框架实现客户端渲染,初始返回的HTML中根本没有插入PokemonAltRow类的元素——这类节点是浏览器拿到JS脚本后,在本地执行逻辑、拉取完接口数据才生成到DOM树里的,直接用urllib拿到的初始响应内容里压根不存在这些元素。
  • 动态类名匹配失效:这类前端框架生成的组件类名,一般会携带随机哈希后缀做样式隔离,实际类名往往不是固定的PokemonAltRow,而是类似PokemonAltRow_随机字符串的形式,你用精确类名做完全匹配的逻辑,会直接因为字符串不等匹配失败。

可落地的修正方案

  • 给请求补充合法的浏览器身份头,绕过基础爬虫校验,替换原有裸请求逻辑:
    import urllib.request
    my_url = 'https://www.smogon.com/dex/rb/pokemon/'
    req = urllib.request.Request(
        my_url,
        headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}
    )
    uClient = uReq(req)
    page_html = uClient.read()
    uClient.close()
    
  • 优先抓取页面背后的结构化数据接口:这类站点的宝可梦列表数据都是以独立JSON格式返回的,不需要依赖前端渲染后的DOM节点,直接请求对应JSON接口就能拿到全量结构化数据,效率远高于解析渲染后的HTML。
  • 调整类名匹配逻辑,改用正则做模糊匹配,规避动态类名后缀的影响:
    import re
    # 原有HTML解析逻辑保持不变
    page_soup = soup(page_html, "html.parser")
    # 模糊匹配class名包含PokemonAltRow的div节点
    pokemon = page_soup.findAll("div", {"class": re.compile(r"PokemonAltRow")})
    

内容的提问来源于stack exchange,提问作者Derrick

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 22:36:02