Java Selenium使用网站分页导航卡在第13页问题求助

问题描述 #

尝试使用网站自带分页导航翻页，每次点击都卡在第13页无法继续：

• 分页导航样式：包含页码按钮、上/下一页按钮，当前页码呈高亮状态
• HTML结构：分页按钮带有动态生成的CSS类，涉及css-3a6490和css-15a7b5o两类

先后尝试两段代码均未解决问题：

第一段代码（定位css-3a6490类） #

for (int i = 1; i <= numOfPages; i++) {
    customWebDriver.getWebDriver().findElement(By.className("css-3a6490")).click();
    Thread.sleep(3000);
}

第二段代码（定位css-15a7b5o类） #

for (int i = 1; i <= numOfPages; i++) {
    customWebDriver.getWebDriver().findElement(By.className("css-15a7b5o")).click();
    Thread.sleep(3000);
}

可能的原因及解决思路 #

1. 动态CSS类定位失效 #

css-3a6490、css-15a7b5o这类带随机后缀的类名，通常是React/Vue等框架的CSS Modules自动生成的，翻页后可能会更新，或者页面中存在多个相同类名的元素（比如当前页按钮），导致点击对象错误。

解决：换用更稳定的定位方式：

• 按按钮文本定位（例如下一页按钮文本为“下一页”或“>”）：

  customWebDriver.getWebDriver().findElement(By.xpath("//button[text()='下一页']")).click();
  

• 按属性定位（比如找带有“next”标识的aria-label）：

  customWebDriver.getWebDriver().findElement(By.xpath("//button[@aria-label='下一页']")).click();
  

2. 固定等待时间不匹配页面加载速度 #

Thread.sleep(3000)是固定等待，第13页可能因数据量或网络原因加载更慢，导致点击时按钮未就绪、页面未完成更新。

解决：改用显式等待，确保按钮可点击后再操作：

WebDriverWait wait = new WebDriverWait(customWebDriver.getWebDriver(), 10);
wait.until(ExpectedConditions.elementToBeClickable(By.xpath("//button[text()='下一页']"))).click();

3. 第13页触发特殊状态 #

• 第13页已是最后一页，下一页按钮被禁用（添加disabled属性或类），点击无响应；
• 网站反爬机制触发，第13页后限制翻页请求。

解决：

• 先判断按钮状态，禁用则终止循环：

  WebElement nextBtn = customWebDriver.getWebDriver().findElement(By.xpath("//button[text()='下一页']"));
  if (nextBtn.isEnabled()) {
      nextBtn.click();
  } else {
      break;
  }
  

• 增加请求间隔，或模拟人类操作（如滚动页面后点击），规避反爬限制。

4. 循环逻辑错误 #

若numOfPages是提前获取的总页数，实际总页数可能随翻页动态更新，或循环次数计算偏差，导致第13次点击后逻辑断裂。

解决：改为循环判断下一页按钮状态，直到无法点击为止：

WebDriverWait wait = new WebDriverWait(customWebDriver.getWebDriver(), 10);
while (true) {
    try {
        WebElement nextBtn = wait.until(ExpectedConditions.elementToBeClickable(By.xpath("//button[text()='下一页']")));
        nextBtn.click();
        wait.until(ExpectedConditions.stalenessOf(nextBtn)); // 等待页面完成更新
    } catch (TimeoutException e) {
        // 下一页按钮不可用，退出循环
        break;
    }
}

内容的提问来源于stack exchange，提问作者David