如何使用Selenium点击“下一页”Chevron按钮加载更多爬取结果？

针对你爬取TrustedHousesitters页面时遇到的无法点击下一页按钮问题，以下是针对性的解决方案：

1. 等待元素完全可点击 #

页面加载是动态的，直接定位元素可能导致元素未就绪。使用WebDriverWait等待元素满足可点击条件：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 等待下一页按钮可点击，超时10秒
next_btn = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, "//button[contains(@aria-label, 'Next page')]"))
)
next_btn.click()

2. 滚动到按钮位置再点击 #

如果按钮在页面底部，未滚动到可视区域会触发遮挡异常，先滚动到元素位置：

import time

# 滚动到按钮所在位置（确保元素已被定位）
driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", next_btn)
# 等待片刻确保元素稳定
time.sleep(1)
next_btn.click()

3. 处理前置遮挡元素（如Cookie弹窗） #

页面加载时的Cookie同意弹窗可能遮挡按钮，先关闭弹窗：

try:
    # 定位并点击Cookie同意按钮（根据页面实际元素调整）
    cookie_btn = WebDriverWait(driver, 5).until(
        EC.element_to_be_clickable((By.XPATH, "//button[text()='Accept All']"))
    )
    cookie_btn.click()
except:
    # 无弹窗则跳过
    pass

4. 使用JavaScript强制点击 #

如果常规点击仍失败，绕过Selenium的元素交互检查，直接用JS触发点击：

next_btn = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, "//button[contains(@aria-label, 'Next page')]"))
)
driver.execute_script("arguments[0].click();", next_btn)

5. 验证元素定位的准确性 #

检查你的XPATH/CSS选择器是否唯一匹配目标按钮。根据你提供的截图，可尝试以下定位方式：

• XPATH：//button[contains(@class, 'pagination__next')]
• CSS选择器：button.pagination__next

额外注意事项 #

• 避免频繁点击，每次点击后等待页面加载新内容（可通过等待结果列表数量变化实现）
• 检查页面是否有反爬机制，可适当添加随机延迟

内容的提问来源于stack exchange，提问作者Stefan