如何使用Selenium Python持续点击按钮直到指定元素出现？

你的核心问题是依赖固定等待时间导致效率低或不稳定，而页面已经给出了**aria-busy="true"**这个明确的加载状态标识，完全可以利用它来做精准等待，同时优化循环逻辑避免无效操作。

优化后的代码实现 #

# Params: url, button_class, span_xpath
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, StaleElementReferenceException
import logging

options = webdriver.ChromeOptions()
driver = webdriver.Chrome(options=options)
driver.get(url)
wait = WebDriverWait(driver, 10)  # 此处为最大等待阈值，非固定等待时长

try:
    while True:
        # 优先检查目标span是否已出现，出现则终止循环
        try:
            wait.until(EC.visibility_of_element_located((By.XPATH, span_xpath)))
            logging.debug("找到目标span，停止点击")
            break
        except TimeoutException:
            # 目标元素未出现，继续执行点击逻辑
            pass

        # 重新定位并点击按钮，处理DOM更新导致的元素失效问题
        try:
            show_more_btn = wait.until(
                EC.element_to_be_clickable((By.CLASS_NAME, button_class))
            )
            show_more_btn.click()
            # 等待按钮从忙碌状态恢复，确认页面加载完成
            wait.until(
                EC.presence_of_element_located(
                    (By.CSS_SELECTOR, f".{button_class}[aria-busy='false']")
                )
            )
        except (TimeoutException, StaleElementReferenceException):
            # 按钮不可点击或已无更多内容，终止循环
            logging.debug("按钮无法点击或已无更多内容，停止操作")
            break

    content = driver.page_source
finally:
    driver.quit()

关键优化点 #

• 利用aria-busy精准等待：点击按钮后不再固定等待10秒，而是等待按钮的aria-busy属性变为false，确保页面加载完成后再执行下一步，既缩短无效等待又避免操作失败。
• 先检查目标元素：每次循环优先判断目标span是否存在，避免无意义的重复点击。
• 动态获取按钮：每次点击前重新定位按钮，解决DOM更新导致的StaleElementReferenceException异常（原代码中固定的button对象会因页面刷新失效）。
• 严谨的异常处理：捕获元素失效和超时异常，避免程序崩溃，同时处理"无更多内容"的边界情况。

内容的提问来源于stack exchange，提问作者Klinger