Python selenium爬虫场景下嵌套函数调用未等待执行完成问题咨询
Selenium抓取流程中scroll_down函数未完整执行就跳步的解决方法
出现这类“程序不等scroll_down函数完整执行就跳转后续流程”的问题,本质上不存在Python同步函数跳过执行的语法特性,绝大多数触发原因都是scroll_down自身的逻辑存在缺陷,导致函数提前退出或静默报错,根本没有走完预期的滚动流程,对应排查和修复方向如下:
- 第一类核心原因:滚动逻辑没有设置阻塞式的终止校验,函数调用一次滚动JS就直接return
很多人写scroll_down的时候只会写一句driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")就结束函数,这类代码执行完JS语句就立刻退出,根本没有等待页面加载滚动后的新内容,也没有反复滚动校验是否到达页面底部,看起来就像“程序不等scroll_down执行完就走后续流程”。
正确的scroll_down实现需要加阻塞循环,直到确认页面不再产生新高度才退出:def scroll_down(driver): # 记录初始页面高度 last_height = driver.execute_script("return document.body.scrollHeight") while True: # 执行滚动到底部动作 driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") # 强制等待内容加载,避免新内容还没渲染就判断高度 time.sleep(2) # 获取滚动后的最新页面高度 current_height = driver.execute_script("return document.body.scrollHeight") # 高度没有变化说明已经到达页面最底部,退出循环 if current_height == last_height: break last_height = current_height - 第二类原因:scroll_down内部静默抛出异常,直接终止函数执行
因为你把scroll_down嵌套定义在get_usrs内部,函数执行中如果出现driver失效、JS脚本执行报错、作用域引用错对象的问题,没有做日志打印的情况下,很容易被外层的异常捕获逻辑吞掉,表现出来就是函数没有执行任何滚动动作就直接跳过。
修复时需要在scroll_down内部加异常日志打印,确认函数是否真的进入了预期的滚动循环,不要让异常被静默吞掉。 - 第三类原因:异步JS的状态没有和Python侧逻辑同步
如果你在scroll_down里把滚动逻辑写在JS的异步回调、或者前端的懒加载逻辑里,Python侧是感知不到前端JS的执行进度的,必须把滚动后的状态校验(比如页面高度变化、列表元素数量变化)拉回Python侧做判断,不能依赖前端JS自己跑完滚动流程就默认任务完成。
注意:只要scroll_down内部代码没有走完return、没有抛出异常,程序一定会停在函数内部等执行完才会走外层逻辑,不存在“不等函数执行完就跳走”的可能性。
内容的提问来源于stack exchange,提问作者Benjamin Carafa
相关产品推荐
相关产品推荐

