Python/Selenium循环点击重复class下href链接无响应问题求助

问题背景 #

需要遍历页面中所有class为entity-result__title-text的span元素下的href链接，打开链接执行操作后返回原页面循环处理，但现有代码无任何动作。

原代码：

links = driver.find_elements(By.XPATH, "//span[@class='entity-result__title-text']/a[@class='app-aware-link']")
for link in links:
    href = link.get_attribute("href")
    link.click()
    # 自定义操作
    driver.back() 

核心问题与解决方案 #

1. 元素定位不准确 #

原XPATH中@class='entity-result__title-text'是精确匹配，但HTML中该span的class包含两个值（entity-result__title-text和t-16），精确匹配会找不到元素。

修正方案：

• 改用contains匹配class的部分值：

links = driver.find_elements(By.XPATH, "//span[contains(@class, 'entity-result__title-text')]/a[contains(@class, 'app-aware-link')]")

• 或者用CSS选择器（更简洁可靠）：

links = driver.find_elements(By.CSS_SELECTOR, "span.entity-result__title-text a.app-aware-link")

2. 未等待元素加载 #

页面可能还没加载完成就执行find_elements，导致返回空列表，自然无动作。

修正方案：添加显式等待，确保元素加载完成：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待最多10秒，直到目标元素可见
wait = WebDriverWait(driver, 10)
links = wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "span.entity-result__title-text a.app-aware-link")))

3. 页面跳转后元素失效 #

循环中点击链接跳转后，原页面的元素会触发StaleElementReferenceException（失效元素），后续循环会出错或无动作。

最优方案：先获取所有href链接，再遍历链接打开，避免元素失效问题：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 10)
# 先获取所有链接的href属性
links = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "span.entity-result__title-text a.app-aware-link")))
href_list = [link.get_attribute("href") for link in links if link.get_attribute("href")]

# 遍历href列表处理
for href in href_list:
    driver.get(href)
    # 执行你的自定义操作
    # ...
    # 返回原页面
    driver.back()
    # 等待原页面重新加载完成，避免下一次操作出错
    wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "span.entity-result__title-text a.app-aware-link")))

额外注意事项 #

• 如果链接在新标签页打开，需要切换窗口：用driver.window_handles获取窗口列表，切换到新窗口处理后关闭，再切回原窗口。
• 确保自定义操作完成后再执行返回/切换窗口，避免页面未加载完成导致的错误。

内容的提问来源于stack exchange，提问作者Lorenzo Castagno