如何在Python Selenium中等待迭代完成后再执行下一次加载更多点击？

原代码的核心问题是没有等待机制：点击按钮后页面还未完成新内容的加载，后续迭代中可能因按钮暂时不可交互、元素未加载完全而触发异常，被except: pass直接跳过，导致循环提前终止。要实现每次点击完成后再进入下一次迭代，需要引入显式等待确保元素状态正常，同时验证页面加载完成。

修改后的代码示例 #

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, ElementNotInteractableException, NoSuchElementException
from tqdm import tqdm

for i in tqdm(range(count_all)):
    try:
        # 等待"Load more"按钮加载完成并可点击，最多等待10秒
        load_more_btn = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.ID, 'load-more-trigger'))
        )
        
        # 滚动到按钮所在位置，避免因按钮在视口外无法点击
        driver.execute_script("arguments[0].scrollIntoView(true);", load_more_btn)
        
        # 执行点击操作
        load_more_btn.click()
        
        # 等待页面加载新内容（需根据页面实际结构调整）
        # 示例：假设每次点击后会新增类名为'content-item'的元素，等待条目数量增加
        current_item_count = len(driver.find_elements(By.CLASS_NAME, 'content-item'))
        WebDriverWait(driver, 10).until(
            lambda d: len(d.find_elements(By.CLASS_NAME, 'content-item')) > current_item_count
        )
        
    except (TimeoutException, ElementNotInteractableException, NoSuchElementException):
        print(f"第{i+1}次点击失败，跳过")
        continue

关键优化点说明 #

1. 显式等待按钮可交互：用WebDriverWait替代直接查找元素，确保按钮加载完成且处于可点击状态，避免无效点击。
2. 滚动到按钮位置：部分页面的"Load more"按钮在底部，需通过JS滚动到视口内才能触发点击。
3. 验证新内容加载：点击后等待页面新增内容出现（如条目数量增加），确保本次点击确实触发了加载动作，而非空操作。
4. 捕获具体异常：替换裸except为针对性异常捕获，既能避免无差别跳过错误，也方便排查问题（如超时说明网络加载慢，元素不可交互说明按钮处于加载状态）。

注意事项 #

• 需根据目标页面的实际结构调整等待条件：如果页面加载时有加载动画，可等待动画消失；如果按钮点击后会暂时禁用，可等待按钮重新变为可点击状态。
• 若网络较慢，可适当延长等待时间（如把10改为15），避免因加载超时导致失败。
• 尽量避免使用time.sleep()强制等待，显式等待会根据元素状态动态调整等待时长，效率更高。

内容的提问来源于stack exchange，提问作者Lex047