Python Selenium网页爬虫如何点击隐藏链接解决TimeoutException报错

错误原因 #

你之前的代码存在两个核心问题：

• 使用了绝对路径XPath，完全依赖页面DOM层级结构，只要页面结构有微小变动就会定位失败
• element_to_be_clickable 等待条件要求元素同时满足「存在于DOM」和「可见可交互」两个条件，你要点击的元素疑似隐藏，或者内部带有aria-hidden="true"的子元素，导致Selenium判定为不可点击，触发超时。

修复方案 #

第一步：改用稳定的相对XPath定位 #

优先用文本匹配+类名匹配的相对定位，不依赖页面层级，两个目标元素的定位规则如下：

• 「Most Active」元素定位：//div[text()="Most Active"]/parent::div[contains(@class,"lib_33_IXqu")]
• 「Watchers」元素定位：//div[text()="Watchers"]/parent::div[contains(@class,"lib_33_IXqu")]

第二步：选择适配隐藏元素的点击方式 #

方式1：替换等待条件，兼容非可见元素

将等待条件从element_to_be_clickable改为presence_of_element_located，只要元素存在于DOM就返回，不需要可见，示例代码：

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait

# 点击Most Active
btn_most_active = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, '//div[text()="Most Active"]/parent::div[contains(@class,"lib_33_IXqu")]'))
)
btn_most_active.click()

# 点击Watchers
btn_watchers = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, '//div[text()="Watchers"]/parent::div[contains(@class,"lib_33_IXqu")]'))
)
btn_watchers.click()

方式2：JS强制点击（优先推荐处理隐藏元素）

如果普通点击还是报错，用JavaScript执行点击，跳过Selenium的元素可见性校验，不管元素是否隐藏都能触发点击事件，示例代码：

# 定位到元素后替换click方法为JS执行
btn_most_active = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, '//div[text()="Most Active"]/parent::div[contains(@class,"lib_33_IXqu")]'))
)
driver.execute_script("arguments[0].click();", btn_most_active)

btn_watchers = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, '//div[text()="Watchers"]/parent::div[contains(@class,"lib_33_IXqu")]'))
)
driver.execute_script("arguments[0].click();", btn_watchers)

注意事项 #

• 不要使用绝对路径XPath，这类定位稳定性极差，页面稍有调整就会失效
• 点击操作后如果页面有更新，记得加对应的等待逻辑，避免后续操作定位失败

内容的提问来源于stack exchange，提问作者devlops_s