Selenium如何获取网页外部修改后的最新HTML代码

• 先等元素状态稳定再获取
  页面元素修改后，DOM更新可能存在延迟，务必等操作完全生效后再获取HTML。比如输入文本后等待文本框值更新，或复选框被选中：

  # Python示例：等待复选框勾选状态生效
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  
  WebDriverWait(driver, 10).until(
      EC.element_to_be_selected((By.ID, "target-checkbox"))
  )
  updated_html = driver.page_source
  

• 直接获取目标元素的HTML
  没必要每次都抓取整个页面的HTML，针对修改的元素单独获取outerHTML更精准，也能避开页面其他未更新部分的干扰：

  # 获取修改后的文本框HTML
  input_elem = driver.find_element(By.ID, "target-input")
  input_html = input_elem.get_attribute("outerHTML")
  
  # 获取修改后的复选框HTML
  checkbox_elem = driver.find_element(By.ID, "target-checkbox")
  checkbox_html = checkbox_elem.get_attribute("outerHTML")
  

• 针对虚拟DOM框架的特殊处理
  用React、Vue这类框架的页面，直接调用page_source可能拿到初始渲染的内容。可以通过执行脚本获取实时的DOM内容：

  # 获取更新后的完整页面HTML
  updated_html = driver.execute_script("return document.documentElement.outerHTML;")
  # 或者只获取body部分内容
  body_html = driver.execute_script("return document.body.innerHTML;")
  

• 检查是否在iframe内
  如果修改的元素位于iframe里，必须先切换到对应iframe才能获取到里面的DOM修改：

  # 切换到目标iframe
  driver.switch_to.frame("target-iframe")
  # 此时获取的page_source就是iframe内的最新内容
  iframe_html = driver.page_source
  # 操作完成后切回主文档
  driver.switch_to.default_content()
  

⚠️ 注意：不要使用driver.refresh()，这会重置所有用户操作，之前的修改会全部丢失。

内容的提问来源于stack exchange，提问作者Daniel