python-requests-html渲染结果不一致且点击moreBtn后无后续交互的问题求助
python-requests-html渲染结果不一致且点击moreBtn后无后续交互的问题求助
各位大佬好,我最近在爬取某个网站时碰到了个头疼的问题,想请大家帮忙看看怎么解决。
背景
这个网站默认只展示少量名称,必须点击页面上的moreBtn按钮才能加载出完整的列表。
我的实现思路
我计划用python-requests-html创建HTML会话,通过脚本模拟点击moreBtn按钮,之后用BeautifulSoup解析并提取页面数据。
遇到的问题
奇怪的是,这段代码只有偶尔能正常运行。请求返回的状态码一直是200,也没抛出任何错误,但点击moreBtn之后就没有后续交互了,完整列表根本加载不出来。
备注:内容来源于stack exchange,提问作者Beginner
相关产品推荐
相关产品推荐

