Selenium无法加载完整页面源码 定位存在的元素报NoSuchElementException

核心原因 #

当前等待逻辑仅校验了URL匹配，但URL跳转完成不代表DOM渲染完成，此时获取的page_source是未加载完全的截断内容，自然无法定位到后续渲染的元素，同时可能存在iframe嵌套、定位方法弃用的问题。

修复步骤 #

• 替换已弃用的元素定位方法：find_element_by_id在Selenium 4.0+版本中已被移除，需统一使用find_element(By.定位方式, 定位值)的写法
• 补充页面加载完成校验逻辑：仅判断URL匹配不足以保证页面加载完成，需增加等待文档加载状态为complete的逻辑
• 排查iframe嵌套：Brightspace这类教育系统常将核心内容放在iframe中，若目标元素属于iframe内部，需先切换到对应iframe再执行元素定位
• 调整显式等待逻辑：直接等待目标元素出现，代替仅等待URL匹配，避免DOM未渲染就执行定位操作

修复后代码示例 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = "https://brightspace.nyu.edu/d2l/home"

driver = webdriver.Chrome()
driver.get(url)

# 多因素认证逻辑保持不变
# MFA Handling Code here #

# 等待URL跳转完成
WebDriverWait(driver,100).until(EC.url_contains('https://brightspace.nyu.edu/d2l/home'))
# 等待页面整体加载完成
WebDriverWait(driver, 30).until(
    lambda d: d.execute_script('return document.readyState') == 'complete'
)

# 若确认元素在iframe中，先执行切换，示例如下（替换为实际iframe的ID/name/定位对象）
# iframe = driver.find_element(By.TAG_NAME, 'iframe')
# driver.switch_to.frame(iframe)

# 等待目标元素出现后再执行操作
try:
    banner = WebDriverWait(driver, 30).until(
        EC.presence_of_element_located((By.ID, 'bannerTitle'))
    )
    print("元素定位成功", banner.text)
    # 此时再打印源码才是完整加载后的内容
    print(driver.page_source)
except Exception as e:
    # 调试时可以打印当前页面的全部文本，确认是否加载到了目标页面内容
    print(driver.find_element(By.TAG_NAME, 'body').text)
    raise e

调试提示 #

如果仍定位失败，先在Chrome开发者工具的控制台执行document.getElementById('bannerTitle')，确认返回结果正常，再检查当前driver的页面上下文是否正确，有没有跨iframe的问题。

内容的提问来源于stack exchange，提问作者LiamRM