Selenium元素点击拦截问题：循环点击链接仅首次成功

核心原因 #

第二次循环时页面弹出了模态弹窗（modal），拦截了元素点击操作，导致ElementClickInterceptedException错误。

具体解决步骤 #

• 处理模态弹窗：每次从详情页返回后，检查并关闭可能出现的弹窗。可以通过等待弹窗元素出现后点击关闭按钮；如果没有关闭按钮，直接用JavaScript移除弹窗元素。
• 预收集所有链接：先一次性抓取页面上所有需要点击的链接href，避免循环中重复解析页面，同时规避返回后DOM变化带来的元素定位问题。
• 改用JavaScript点击：如果元素仍被遮挡，直接调用元素的click()方法，绕过页面的点击拦截机制。

修改后的代码示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs

driver = webdriver.Chrome("C://Users//user/chromedriver.exe")
profile_url = "https://www.goodreads.com/list?ref=nav_brws_lists"
driver.get(profile_url)

# 预收集所有需要点击的链接href
src = driver.page_source
soup = bs(src, "lxml")
ul_wrapper = soup.find_all("ul", {"class": "listTagsTwoColumn"})
link_hrefs = []
for tag in ul_wrapper:
    list_items = tag.find_all("li")
    for li in list_items:
        a = li.find("a")
        if a and a.get("href"):
            link_hrefs.append(a.get("href"))

# 遍历处理每个链接
for href in link_hrefs:
    try:
        # 检查并关闭模态弹窗（如果存在）
        try:
            # 按实际页面调整弹窗关闭按钮的选择器
            close_btn = WebDriverWait(driver, 5).until(
                EC.element_to_be_clickable((By.CSS_SELECTOR, "button.modal__close"))
            )
            close_btn.click()
        except:
            # 无关闭按钮时直接移除弹窗元素
            modal = driver.find_element(By.CSS_SELECTOR, "div.modal.modal--overlay")
            driver.execute_script("arguments[0].remove();", modal)
        
        # 定位目标元素并使用JS点击
        elem = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.XPATH, f"//a[@href='{href}']"))
        )
        driver.execute_script("arguments[0].click();", elem)
        
        # 这里添加处理详情页的逻辑
        
        # 返回列表页并等待加载完成
        driver.back()
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "ul.listTagsTwoColumn"))
        )
    except Exception as e:
        print(f"处理链接 {href} 时出错: {str(e)}")
        driver.back()
        continue

driver.quit()

额外说明 #

• 弹窗相关的选择器需要根据页面实际结构调整，确保能准确定位弹窗或关闭按钮。
• 加入异常捕获机制，避免单个链接处理失败导致整个程序中断。
• 返回列表页后等待核心元素加载，确保后续操作的DOM环境稳定。

内容的提问来源于stack exchange，提问作者Paul Buciuman