R Selenium：如何区分动态加载未完成与无「下一页」按钮场景？

核心问题分析 #

原代码的循环逻辑仅以click_verifier是否为NULL作为判断条件，无法区分「按钮正在动态加载中」和「按钮已彻底消失（内容加载完成）」两种场景，导致内容加载完成后循环仍无意义地持续执行。

优化方案 #

通过设置连续重试次数上限来区分两种情况：当连续N次都无法找到按钮时，判定为内容已加载完成，终止循环。既给足页面动态加载的等待时间，又能避免无限循环。

优化后代码 #

click_count = 0
max_retries = 5  # 可根据页面实际加载速度调整
retry_count = 0

while(retry_count < max_retries){
  click_verifier = tryCatch({
    driver$findElement("id", "lib-rnl-lib-rnl-laadMeerBtn")
  }, error = function(e){NULL})
  
  if(!is.null(click_verifier)){
    # 找到按钮，点击后重置重试计数
    click_verifier$clickElement()  # 直接复用已找到的元素，避免重复查询DOM
    click_count = click_count + 1
    print(paste0('Clicked: ', click_count, "x"))
    retry_count = 0  # 成功点击后重置重试次数，开启新轮查找
    
    # 等待新内容加载完成
    randsleep = sample(seq(0.5, 1.0, by = 0.001), 1)
    Sys.sleep(randsleep)
    print(paste0('- - - sleeping for: ', randsleep, ' seconds.'))
  } else {
    # 未找到按钮，重试计数+1
    retry_count = retry_count + 1
    randsleep = sample(seq(0.5, 1.0, by = 0.001), 1)
    Sys.sleep(randsleep)
    print(paste0('- - - sleeping for: ', randsleep, ' seconds. Retry ', retry_count, '/', max_retries))
  }
}

print(paste0('All content loaded. Total clicks: ', click_count))

方案说明 #

• 连续重试上限：max_retries设置为5（可按需调整），若连续5次查询都找不到按钮，就判定为内容已加载完毕，退出循环。
• 减少DOM查询：找到按钮后直接调用已获取的元素执行点击，避免重复查询DOM，提升脚本运行效率。
• 重置重试计数：每次成功点击按钮后，将retry_count重置为0，确保新一轮查找的计数重新开始。

额外优化建议 #

如果页面支持，可使用显性等待替代随机睡眠，比固定/随机等待更高效：

click_count = 0
max_retries = 5
retry_count = 0

while(retry_count < max_retries){
  tryCatch({
    # 显性等待按钮出现，超时时间3秒
    load_more_button = driver$waitForElement("id", "lib-rnl-lib-rnl-laadMeerBtn", timeout = 3000)
    load_more_button$clickElement()
    click_count = click_count + 1
    print(paste0('Clicked: ', click_count, "x"))
    retry_count = 0
    Sys.sleep(sample(seq(0.5, 1.0, by = 0.001), 1))
  }, error = function(e){
    retry_count = retry_count + 1
    print(paste0('Retry ', retry_count, '/', max_retries))
    Sys.sleep(sample(seq(0.5, 1.0, by = 0.001), 1))
  })
}

内容的提问来源于stack exchange，提问作者ben_aaron