使用Selenium和ChromeDriver爬取页面加载后超时求助

问题根源 #

代码执行到GoToUrl后浏览器打开但后续逻辑停滞，最终超时，本质是浏览器或页面处于未就绪/阻塞状态，导致自动化工具无法推进后续步骤。常见诱因包括页面加载未完成、弹窗拦截、驱动版本不匹配等。

针对性解决措施 #

• 强制等待页面就绪：用显式等待替代固定延时，确保目标元素或页面完全加载后再执行后续操作（以Selenium为例）：

  // 等待目标HTML标签出现，超时30秒
  var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(30));
  wait.Until(driver => driver.FindElement(By.TagName("你要爬取的标签名")));
  

• 验证页面加载状态：通过JS脚本确认页面DOM加载完成：

  wait.Until(d => ((IJavaScriptExecutor)d).ExecuteScript("return document.readyState").Equals("complete"));
  

• 消除交互阻塞：如果页面有弹窗、登录验证或人机校验，要么通过代码预先完成验证，要么启用无头模式避免手动交互干扰：

  var chromeOptions = new ChromeOptions();
  chromeOptions.AddArgument("--headless=new"); // 无头模式启动，无可视化窗口
  var driver = new ChromeDriver(chromeOptions);
  

• 匹配浏览器与驱动版本：确保Chrome/Firefox版本和对应WebDriver版本完全一致，版本不兼容会导致执行中断。
• 调整超时阈值：若页面本身加载缓慢，可临时延长全局超时时间，但这是治标方案，优先解决阻塞根源。

内容的提问来源于stack exchange，提问作者miatochai