You need to enable JavaScript to run this app. 使用requests搭配BS4爬取Trading Economics时找不到指定类li元素怎么办?
优惠活动
大模型
产品
解决方案
定价
更多

使用requests搭配BS4爬取Trading Economics时找不到指定类li元素怎么办?

查找结果为空的核心原因
  • 目标内容属于前端动态渲染生成,不在requests返回的初始静态HTML中
    你在浏览器元素检查工具里看到的嵌套文章、带list-group-item类的li标签,是页面加载完成后,通过前端JS发起异步请求拉取文章数据、动态插入DOM结构的内容。requests默认仅能获取服务端直接返回的初始页面骨架,不会执行页面内嵌的JS渲染逻辑,自然无法匹配到后续动态生成的元素。
  • 默认请求参数触发站点反爬,返回无效响应内容
    requests默认请求头携带的User-Agent标识为python-requests/对应版本号,很容易被站点反爬规则识别为非浏览器访问,直接返回空壳拦截页、跳转提示页,这类响应本身就不存在你要查找的目标元素。
  • 可通过简单操作验证上述原因:将r.text的完整内容写入本地html文件,用浏览器打开该文件,即可看到实际通过requests拿到的页面和你在原网站看到的页面存在明显差异,也可以直接在返回文本中搜索list-group-item关键字,确认是否存在对应类名的HTML片段。

内容的提问来源于stack exchange,提问作者Vasilis

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 19:54:05