Selenium Python：如何仅等待单个元素加载后跳转至其他站点

我在用Selenium爬取网站时，遇到页面整体加载太慢的问题，但我需要的文本内容是最先加载的元素。想知道能不能等目标元素加载完成后，就停止页面加载并跳转到其他站点？我尝试的代码如下：

df = pd.read_csv("file.csv") 
wait =  WebDriverWait(driver, 1)

for site in df.site: 
    driver.get(site)

    search = wait.until(EC.visibility_of_any_elements_located((By.XPATH, '//div[@itemprop="recipeInstructions"]//span[@tabindex="0"]')))
    search = "".join(list(map(lambda x: x.text+"---",search)))

    if(search):
        driver.execute_script("window.stop();")

    print(search)

问题分析 #

你的思路没问题，但现有代码有两个关键缺陷：

1. driver.get(site)默认会等待页面完全加载完成才执行后续代码，这就导致你没法在目标元素加载后立刻停止——因为get方法本身就卡在等页面加载完了。
2. 显式等待的超时时间设为1秒太短，大概率会在元素加载出来前就超时报错。

优化方案 #

核心是先让浏览器不要等页面全加载完，再配合显式等待获取元素后立刻终止加载，具体步骤：

1. 修改浏览器加载策略为eager，只等待DOM结构加载完成，不用等图片、样式等资源。
2. 合理设置显式等待的超时时间，保证元素有足够时间加载。
3. 获取目标元素内容后，执行window.stop()终止后续资源加载，提升爬取效率。

优化后的代码 #

import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

df = pd.read_csv("file.csv") 

# 配置浏览器加载策略：只等DOM加载完成，不等所有资源
options = webdriver.ChromeOptions()
options.page_load_strategy = 'eager'
driver = webdriver.Chrome(options=options)

# 调整超时时间为10秒（可根据实际情况修改）
wait = WebDriverWait(driver, 10)

for site in df.site: 
    driver.get(site)
    try:
        # 等待所有目标元素可见（如果只要任意一个，就用visibility_of_any_elements_located）
        target_elements = wait.until(EC.visibility_of_all_elements_located((By.XPATH, '//div[@itemprop="recipeInstructions"]//span[@tabindex="0"]')))
        # 拼接元素文本
        search_content = "---".join([elem.text for elem in target_elements])
        print(search_content)
        # 获取内容后立刻停止页面加载
        driver.execute_script("window.stop();")
    except Exception as e:
        # 处理元素未找到或超时的情况，避免循环中断
        print(f"处理站点 {site} 出错: {str(e)}")
        continue

# 最后记得关闭浏览器
driver.quit()

补充说明 #

• pageLoadStrategy的三个可选值：
  • normal：默认行为，等待所有资源（图片、样式、脚本）加载完成
  • eager：等待DOMContentLoaded事件触发，DOM结构加载完成就返回
  • none：完全不等待，调用get后立刻返回，适合极端场景
• 如果只需要获取任意一个目标元素，把visibility_of_all_elements_located换回visibility_of_any_elements_located即可。
• 异常处理很重要，避免单个站点的加载问题导致整个爬取任务中断。

内容的提问来源于stack exchange，提问作者Lyncoln Sousa