如何让Selenium(Python)获取执行完所有JS的完整页面？

1. 优先使用显式等待（最可靠） #

别用固定时长的sleep()，针对要定位的动态元素，用WebDriverWait配合预期条件等待元素加载完成，这是Selenium处理动态内容的标准方案，能精准匹配元素加载时机，避免无效等待。

示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化Edge驱动
driver = webdriver.Edge()
driver.get("你的目标页面URL")

# 等待目标元素可见（最长等待10秒）
try:
    target_element = WebDriverWait(driver, 10).until(
        EC.visibility_of_element_located((By.CSS_SELECTOR, "你的目标元素选择器"))
    )
    # 此时页面已加载完成目标元素，可获取完整DOM
    full_dom = driver.page_source
finally:
    driver.quit()

常用预期条件还有presence_of_element_located（元素仅需存在于DOM）、presence_of_all_elements_located（多个目标元素全部加载），可根据需求选择。

2. 等待页面全局脚本执行完毕 #

若需要等待所有JS脚本执行完成，可通过执行JS判断页面状态：

• 等待document.readyState变为complete（表示页面资源全部加载完毕）：

WebDriverWait(driver, 15).until(
    lambda d: d.execute_script('return document.readyState') == 'complete'
)

• 如果页面使用jQuery，可等待所有AJAX请求完成：

WebDriverWait(driver, 15).until(
    lambda d: d.execute_script('return jQuery.active == 0')
)

3. 处理滚动触发的动态加载 #

如果页面是滚动到底部才加载新内容，需要模拟滚动并等待新元素加载：

# 先滚动到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# 等待新内容加载（结合显式等待新元素出现）
WebDriverWait(driver, 8).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, "新加载元素的选择器"))
)

# 若需多次滚动加载，可循环执行直到页面高度不再变化
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    # 等待高度变化（即新内容加载）
    WebDriverWait(driver, 5).until(
        lambda d: d.execute_script("return document.body.scrollHeight") > last_height
    )
    last_height = driver.execute_script("return document.body.scrollHeight")
    # 可添加终止条件，比如滚动次数限制或高度不再变化

4. 正确获取当前DOM内容 #

不要在页面未加载完成时调用driver.page_source，或者直接通过JS获取浏览器当前渲染的完整DOM：

full_dom = driver.execute_script("return document.documentElement.outerHTML")

这个方法能直接拿到当前浏览器中真实渲染的DOM结构，部分极端场景下比page_source的更新更及时。

内容的提问来源于stack exchange，提问作者MeltedMetal