使用Requests-HTML爬取页面结果不稳定，如何强制等待页面完全渲染？

你遇到的返回值不稳定确实是页面异步渲染导致的：页面初始渲染完成时，商品数据的接口还未返回、对应的div.product-ribbon元素还没插入到DOM中，就执行了元素查找逻辑，所以会随机返回0。

Requests-HTML的render()方法提供了多个参数可以控制渲染等待逻辑，按需配置即可解决问题：

• 增加sleep参数：指定页面渲染完成后额外等待的秒数，给异步接口返回、DOM插入留足时间
• 增加timeout参数：调整页面加载超时阈值，避免网络波动时页面还未加载完成就被强制中断
• 若目标内容需要滚动触发加载，可增加scrolldown参数，设置模拟向下滚动的次数

修正后的代码示例 #

url = 'https://www.funpo.co.il/%D7%A1%D7%95%D7%A0%D7%99-%D7%A4%D7%9C%D7%99%D7%99%D7%A1%D7%98%D7%99%D7%99%D7%A9%D7%9F-5'
session = HTMLSession()
r = session.get(url)
# 渲染完成后额外等待3秒，超时时间设为20秒
r.html.render(sleep=3, timeout=20)
ribbons = r.html.find('div.product-ribbon')
print(len(ribbons))

如果以上配置还是偶现返回0的情况，可以增加简单的重试逻辑：当获取到的元素数量为0时，重新执行渲染和元素查找操作即可。

内容的提问来源于stack exchange，提问作者JustAGuy