使用Firefox驱动时Python Selenium出现TimeoutException错误求助

可能的原因及对应方案 #

1. 元素过时（Stale Element） #

函数执行时遍历速度快，页面可能在你获取profile_divs后发生动态更新，导致部分profile元素变为过时元素（StaleElementReferenceException），此时再用它作为父元素等待子元素就会触发超时。而逐行运行时，手动操作的间隔足够页面稳定，所以不会出现这个问题。

解决办法：
每次循环时重新获取当前的div元素，避免复用已过时的元素引用：

from selenium.common.exceptions import TimeoutException, StaleElementReferenceException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

def get_links(class_name):
    links = []
    # 先获取元素总数，避免遍历过程中列表变化
    div_count = len(self.browser.find_elements(By.CLASS_NAME, class_name))
    for i in range(div_count):
        try:
            # 每次循环重新定位第i个div
            profile = self.browser.find_elements(By.CLASS_NAME, class_name)[i]
            # 改用visibility_of_element_located，确保元素可见
            a_tag = WebDriverWait(profile, 10).until(
                EC.visibility_of_element_located((By.TAG_NAME, 'a'))
            )
            links.append(a_tag.get_attribute("href"))
        except (TimeoutException, StaleElementReferenceException):
            continue
    return links

2. 等待条件不合适 #

presence_of_element_located仅检查元素是否存在于DOM中，但元素可能还未完成渲染或处于不可见状态。函数执行速度快时，DOM存在但元素还无法交互，导致超时。

解决办法：
将等待条件替换为EC.visibility_of_element_located，确保元素不仅存在还可见：

a_tag = WebDriverWait(profile, 10).until(
    EC.visibility_of_element_located((By.TAG_NAME, 'a'))
)

3. 隐式等待与显式等待冲突 #

如果你的代码中之前设置过隐式等待（如self.browser.implicitly_wait(10)），它会和显式的WebDriverWait叠加，导致等待逻辑异常。

解决办法：
在使用显式等待前临时关闭隐式等待，用完再恢复：

def get_links(class_name):
    # 保存原隐式等待时间并临时关闭
    original_implicit_wait = self.browser.implicitly_wait(0)
    links = []
    div_count = len(self.browser.find_elements(By.CLASS_NAME, class_name))
    for i in range(div_count):
        try:
            profile = self.browser.find_elements(By.CLASS_NAME, class_name)[i]
            a_tag = WebDriverWait(profile, 10).until(
                EC.visibility_of_element_located((By.TAG_NAME, 'a'))
            )
            links.append(a_tag.get_attribute("href"))
        except (TimeoutException, StaleElementReferenceException):
            continue
    # 恢复原隐式等待时间
    self.browser.implicitly_wait(original_implicit_wait)
    return links

4. 简化查找逻辑（备选方案） #

直接用CSS选择器一次性定位所有目标a标签，避免遍历div的步骤，减少元素过时的概率：

def get_links(class_name):
    links = []
    # 直接定位class为class_name的div下的a标签
    a_tags = WebDriverWait(self.browser, 10).until(
        EC.presence_of_all_elements_located((By.CSS_SELECTOR, f".{class_name} a"))
    )
    for tag in a_tags:
        try:
            href = tag.get_attribute("href")
            if href:
                links.append(href)
        except StaleElementReferenceException:
            continue
    return links

内容的提问来源于stack exchange，提问作者The Governor