You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

python-requests-html渲染结果不一致且点击moreBtn后无后续交互的问题求助

python-requests-html渲染结果不一致且点击moreBtn后无后续交互的问题求助

各位大佬好,我最近在爬取某个网站时碰到了个头疼的问题,想请大家帮忙看看怎么解决。

背景

这个网站默认只展示少量名称,必须点击页面上的moreBtn按钮才能加载出完整的列表。

我的实现思路

我计划用python-requests-html创建HTML会话,通过脚本模拟点击moreBtn按钮,之后用BeautifulSoup解析并提取页面数据。

遇到的问题

奇怪的是,这段代码只有偶尔能正常运行。请求返回的状态码一直是200,也没抛出任何错误,但点击moreBtn之后就没有后续交互了,完整列表根本加载不出来。

备注:内容来源于stack exchange,提问作者Beginner

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.13 17:14:40