Selenium单页爬取正常，循环爬取触发ElementClickInterceptedException

单页正常、循环执行失败的原因 #

• 单页测试时，页面有足够时间完成所有加载流程（包括弹窗、加载遮罩的自动消失），元素状态稳定，不会出现被遮挡的情况。
• 循环执行时复用了同一个浏览器实例，前一个页面的残留元素（如未完全关闭的模态框、加载动画）可能仍停留在DOM中，遮挡当前页面的目标元素；或者页面跳转后，元素还未完全渲染就绪就触发点击，导致拦截。
• 部分网站在页面切换时会加载全局遮罩或cookie提示弹窗，单页测试时可能手动处理过这些干扰，但自动化循环中未做对应处理。

优雅解决方案：封装通用点击工具函数 #

无需给每个click()单独编写重复的try/except逻辑，将等待、异常处理、备用点击逻辑封装成可复用函数，所有点击操作统一调用即可，同时优化页面加载后的状态校验。

步骤1：封装安全点击函数 #

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import ElementClickInterceptedException, TimeoutException

def safe_click(driver, locator, wait_time=10):
    """安全点击元素：先等待可点击状态，失败则用JS强制点击"""
    try:
        # 等待元素可点击，并滚动到元素居中可见位置
        element = WebDriverWait(driver, wait_time).until(EC.element_to_be_clickable(locator))
        driver.execute_script("arguments[0].scrollIntoView({behavior: 'smooth', block: 'center'});", element)
        element.click()
    except ElementClickInterceptedException:
        # 元素被遮挡时，用JS绕过页面层级直接点击
        driver.execute_script("arguments[0].click();", element)
    except TimeoutException:
        print(f"元素定位超时：{locator}")
        raise

步骤2：修改原循环代码 #

替换所有find_element + click为调用safe_click，同时添加页面加载完成的等待逻辑，确保页面状态稳定：

from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd

districts_df = pd.DataFrame()

district_list = [
    {'url':'https://go.boarddocs.com/mabe/mcpsmd/Board.nsf/Public', 'name':'Montgomery County Board of Education'},
    {'url':'https://go.boarddocs.com/nc/cabcs/Board.nsf/public', 'name':'Cabarrus County Schools'},
]

DRIVER_PATH = '/path/to/chromedriver'
driver = webdriver.Chrome(executable_path=DRIVER_PATH)

# 等待页面完全加载的辅助函数
def wait_for_page_ready(driver, wait_time=10):
    WebDriverWait(driver, wait_time).until(
        lambda d: d.execute_script('return document.readyState') == 'complete'
    )

for district in district_list:
    print(district['name'], district['url'])
    url = district['url']
    district_name = district['name']

    driver.get(url)
    wait_for_page_ready(driver)  # 等待页面DOM加载完成

    # 统一使用safe_click处理所有点击操作
    safe_click(driver, (By.ID, "mainMeetings"))
    safe_click(driver, (By.CSS_SELECTOR, ".featured"))
    safe_click(driver, (By.ID, "btn-print-agenda1"))
    safe_click(driver, (By.XPATH, "//a[@href='#tab-2']"))

    # 显式等待目标内容元素出现后再获取
    agenda_text = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "for-print"))
    ).get_attribute("outerHTML")
    soup = BeautifulSoup(agenda_text, 'html.parser')
    meeting_agenda = soup.text

    districts_df = districts_df.append({'url': url,
                                        'district_name': district_name,
                                        'agenda': meeting_agenda}, ignore_index=True)

driver.quit()

额外优化建议 #

• 如果目标网站有cookie提示弹窗，可在wait_for_page_ready后添加弹窗检测与关闭逻辑，避免遮挡后续元素。
• 循环中尽量用显式等待替代time.sleep()，但可在页面切换后添加1秒左右的短暂休眠，应对部分网站的异步加载延迟。
• 每次页面跳转后，可调用driver.execute_script("window.scrollTo(0, 0);")回到页面顶部，避免固定导航栏遮挡元素。

内容的提问来源于stack exchange，提问作者user3710004