Python Selenium如何实时获取更新页面源码（解决弹窗抓取问题）

核心原因 #

driver.page_source 仅能返回页面初始加载阶段的DOM静态快照，对于动态渲染弹出的模态框、iframe嵌套弹窗、原生JS弹窗这类动态生成的内容，既不会自动同步到初始快照中，部分弹窗甚至根本不在主文档DOM树内，直接调用该方法自然无法获取对应代码。

可落地的解决方式 #

• 等待弹窗完全渲染后直接提取弹窗节点HTML
  不要在弹窗刚触发时就抓取内容，先用显式等待等弹窗核心元素加载完成，再直接读取弹窗节点的outerHTML属性，该属性是实时从当前DOM树读取的，不会受静态快照限制：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  
  # 等待弹窗标志性元素可见，超时时间根据实际页面调整
  WebDriverWait(driver, 10).until(
      EC.visibility_of_element_located((By.CSS_SELECTOR, ".modal-container"))
  )
  # 直接提取弹窗节点的完整HTML
  modal_html = driver.find_element(By.CSS_SELECTOR, ".modal-container").get_attribute("outerHTML")
  

• 切换到弹窗所在iframe后再提取内容
  大量第三方弹窗、登录弹窗是嵌套在独立iframe中渲染的，主文档的DOM树本身不包含iframe内的内容，需要先切换iframe上下文再抓取：

  # 定位弹窗所属的iframe元素
  modal_iframe = driver.find_element(By.CSS_SELECTOR, "iframe[title*='弹窗']")
  # 切换到iframe内部
  driver.switch_to.frame(modal_iframe)
  # 等待内容加载后提取iframe内的完整HTML
  modal_content = driver.find_element(By.TAG_NAME, "body").get_attribute("outerHTML")
  # 操作完成后切回主文档上下文，避免后续定位元素报错
  driver.switch_to.default_content()
  

• 原生JS弹窗直接调用专用接口提取
  alert/confirm/prompt这类浏览器原生弹窗不属于DOM节点，本身就不会出现在HTML代码中，需要通过Selenium的弹窗专用接口读取内容：

  # 切换到原生弹窗上下文
  alert_popup = driver.switch_to.alert
  # 读取弹窗文本内容
  popup_text = alert_popup.text
  # 根据业务需要调用accept()确认、dismiss()关闭弹窗、send_keys()输入内容
  alert_popup.accept()
  

• 强制拉取全页实时DOM
  如果需要获取整个页面的最新HTML而非单独弹窗内容，可以直接执行JS脚本从浏览器实时DOM树拉取全量代码，时效性远高于driver.page_source：

  latest_page_html = driver.execute_script("return document.documentElement.outerHTML;")
  

内容的提问来源于stack exchange，提问作者mifirs