Selenium通过CLASS_NAME定位元素时无法稳定返回全部匹配元素

问题核心 #

使用find_elements(By.CLASS_NAME, "homeheadline")定位元素时结果不稳定，有时仅返回1个元素、有时全量返回、有时无结果，无法稳定获取所有匹配的文章标题和链接。

原因分析 #

1. 异步加载未等待完全：隐式等待implicitly_wait(10)仅设置元素查找的超时时间，无法确保页面所有动态渲染的目标元素都加载完成。
2. 动态内容延迟加载：部分元素可能需要页面滚动或触发特定事件后才会渲染，直接查找会错过未加载的元素。

解决方案 #

1. 改用显式等待确保元素全量加载 #

使用WebDriverWait配合presence_of_all_elements_located条件，等待所有匹配的元素都出现在DOM中，这是稳定获取元素的关键。

2. 处理滚动加载（若需要） #

如果页面存在滚动加载逻辑，模拟滚动到底部触发内容加载后再进行元素查找。

修改后的代码示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def villanovan():
    driver = webdriver.Chrome()
    url_2 = 'https://villanovan.com/'
    driver.get(url_2)
    
    try:
        # 显式等待所有homeheadline元素加载完成，超时时间15秒
        WebDriverWait(driver, 15).until(
            EC.presence_of_all_elements_located((By.CLASS_NAME, "homeheadline"))
        )
        
        # 模拟滚动到底部（处理可能的滚动加载）
        last_height = driver.execute_script("return document.body.scrollHeight")
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        # 等待新内容加载
        WebDriverWait(driver, 5).until(
            lambda d: d.execute_script("return document.body.scrollHeight") > last_height
        )
        
        # 查找所有元素并过滤有效内容
        a = driver.find_elements(By.CLASS_NAME, "homeheadline")
        titles = [i.text.strip() for i in a if i.text.strip()]
        links = [i.get_attribute('href') for i in a if i.text.strip()]
        return [titles, links]
    finally:
        # 确保浏览器关闭，避免资源泄漏
        driver.quit()

if __name__ == "__main__":
    print(villanovan())

关键优化点说明 #

• 显式等待替代隐式等待：精准等待目标元素全量加载，避免因页面异步渲染导致的元素遗漏。
• 滚动加载处理：通过JS脚本滚动页面，触发动态内容加载，确保所有元素都被渲染。
• 资源清理：使用finally块确保浏览器无论是否报错都会关闭，避免资源泄漏。

内容的提问来源于stack exchange，提问作者Ryan Clothier