Selenium提交表单后driver.page_source未更新，如何获取最新页面HTML？

我之前也碰到过一模一样的坑！明明页面已经显示提交后的结果了，driver.page_source却还是返回初始状态的源码，这大概率是页面加载时机没把握好或者页面结构有特殊情况导致的，给你几个实用的解决方案：

1. 用显式等待等待目标元素加载完成 #

提交表单后很多网站是通过AJAX异步加载结果的，这时候Selenium不会自动等待异步请求完成。你需要等待提交后才会出现的元素（比如结果区域的某个DOM节点）加载出来，再去获取页面源码。

举个具体的例子：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 提交表单
driver.find_element(By.ID, "submit-button").click()

# 等待结果区域的元素出现（这里替换成你页面中实际存在的元素定位）
WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, "result-container"))
)

# 现在再获取page_source就是更新后的内容了
updated_html = driver.page_source

这种方式比用time.sleep()靠谱多了，它会智能等待元素出现，不会浪费多余时间，也不会因为网络慢导致等待时间不够。

2. 等待页面完全加载完成 #

如果不确定要等哪个元素，可以等待页面的document.readyState变成complete，确保页面所有资源都加载完毕：

WebDriverWait(driver, 10).until(
    lambda d: d.execute_script('return document.readyState') == 'complete'
)
updated_html = driver.page_source

3. 检查是否存在iframe嵌套 #

如果提交后的结果是在iframe里面展示的，直接获取driver.page_source只能拿到外层页面的源码，根本看不到iframe里的内容。这时候需要先切换到对应的iframe：

# 切换到iframe（可以用id、name或者元素定位）
driver.switch_to.frame("result-iframe")

# 获取iframe内的页面源码
updated_html = driver.page_source

# 记得用完切回主页面，避免后续操作出错
driver.switch_to.default_content()

4. 强制刷新页面（备选方案） #

如果上面的方法都不管用，偶尔可以试试强制刷新页面，让driver重新加载最新的内容：

driver.refresh()
# 刷新后同样建议等待元素加载
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "result-container")))
updated_html = driver.page_source

总结一下：优先用显式等待目标元素的方法，这是解决这类问题最通用的方案，剩下的方法可以根据实际页面情况尝试。

内容的提问来源于stack exchange，提问作者Rohan Baisantry