Selenium Web Driver（C#）爬取脚本无限挂起问题求助

你的脚本出现无限挂起，核心问题集中在异常处理逻辑的死循环和等待逻辑的可靠性不足上，以下是具体修复方案：

1. 移除catch块的死循环，添加精准异常日志 #

当前catch块一旦触发，就会进入while(true)永久阻塞，且没有任何具体异常信息，根本无法定位真实问题。替换成精准捕获异常并输出详情：

catch (WebDriverTimeoutException timeoutEx)
{
    Console.WriteLine($"第{i+1}页等待超时: {timeoutEx.Message}");
    break; // 按需求选择重试或退出循环
}
catch (Exception ex)
{
    Console.WriteLine($"第{i+1}页出错: {ex.Message}\n{ex.StackTrace}");
    break;
}

2. 优化等待逻辑，避免无效阻塞 #

原代码中连续等待两个元素过时的逻辑冗余，且依赖元素状态的判断不稳定。改成等待页面URL变化或新页面标志性元素加载，更可靠：

next.Click();
// 等待页面URL变化（需确保下一页URL会更新）
string currentUrl = driver.Url;
wait1.Until(d => d.Url != currentUrl);
// 再等待新页面的复选框加载完成，确认页面刷新完成
wait1.Until(ExpectedConditions.ElementIsVisible(By.Id("checkboxCol")));

3. 替换脆弱的定位器 #

你用的XPath是绝对路径，页面结构稍有变动就会失效。换成基于文本或稳定属性的定位方式：

// 示例：找包含"下一页"文本的按钮
IWebElement next = wait1.Until(ExpectedConditions.ElementToBeClickable(By.XPath("//button[contains(text(),'下一页')]")));
// 或用CSS选择器（基于元素class/属性）
IWebElement next = wait1.Until(ExpectedConditions.ElementToBeClickable(By.CssSelector("#searchResults .pagination-next-btn")));

4. 添加全局超时设置 #

给Driver设置页面加载和隐式等待超时，避免因页面加载卡住导致脚本挂起：

// 在初始化Driver后添加
driver.Manage().Timeouts().PageLoad = TimeSpan.FromSeconds(30);
driver.Manage().Timeouts().ImplicitWait = TimeSpan.FromSeconds(5);

优化后的完整代码示例 #

public void Scrapping() 
{
    // 全局超时配置
    driver.Manage().Timeouts().PageLoad = TimeSpan.FromSeconds(30);
    driver.Manage().Timeouts().ImplicitWait = TimeSpan.FromSeconds(5);
    
    WebDriverWait wait1 = new WebDriverWait(driver, TimeSpan.FromSeconds(15));
    
    for (int i = 0; i < currentPage; i++)
    {
        try
        {
            IWebElement chkbox = wait1.Until(ExpectedConditions.ElementIsVisible(By.Id("checkboxCol")));
            chkbox.Click();
            
            // 用稳定定位器找下一页按钮
            IWebElement next = wait1.Until(ExpectedConditions.ElementToBeClickable(By.XPath("//*[@id='searchResults']//div[contains(@class,'pagination-next')]")));
            string currentUrl = driver.Url;
            next.Click();
            
            // 等待页面跳转完成
            wait1.Until(d => d.Url != currentUrl);
            // 确认新页面加载完成
            wait1.Until(ExpectedConditions.ElementIsVisible(By.Id("checkboxCol")));
        }
        catch (WebDriverTimeoutException timeoutEx)
        {
            Console.WriteLine($"第{i+1}页等待超时: {timeoutEx.Message}");
            break;
        }
        catch (Exception ex)
        {
            Console.WriteLine($"第{i+1}页出错: {ex.Message}\n{ex.StackTrace}");
            break;
        }
    }
}

内容的提问来源于stack exchange，提问作者Munkhtuvshin Lkhadorj