求助：Python Selenium WebDriverWait超时，无法获取innerHTML访问标签

嘿，我之前爬Naver博客的时候也踩过这个超时的坑，给你几个针对性的解决方向，应该能帮到你：

1. 先处理iframe嵌套（最关键的点！） #

Naver博客的文章内容不在主页面的DOM里，是嵌入在一个id为mainFrame的iframe中的！直接在主页面找元素肯定会超时，必须先切换到iframe里才能访问内容。代码示例：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

driver = webdriver.Chrome()
driver.get("https://blog.naver.com/lily8744/221229107142")

try:
    # 等待iframe加载完成并切换进去
    iframe = WebDriverWait(driver, 15).until(
        EC.presence_of_element_located((By.ID, "mainFrame"))
    )
    driver.switch_to.frame(iframe)
    
    # 现在再等待博客正文元素出现，获取innerHTML
    content_container = WebDriverWait(driver, 15).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "div.se-main-container"))
    )
    target_inner_html = content_container.get_attribute('innerHTML')
    print(target_inner_html)
    
    # 后续如果要操作主页面元素，记得切回主文档
    driver.switch_to.default_content()
except TimeoutException:
    print("加载iframe或正文内容超时，请检查网络或元素选择器")

2. 替换显式等待，放弃全局超时 #

之前你可能用的是隐式等待或者直接等页面加载完成，但Naver博客的内容是异步渲染的，全局超时很容易触发。改用显式等待目标元素出现，比等整个页面加载更精准，也能避免不必要的等待。

3. 应对反爬和网络问题 #

Naver有基础的反爬机制，加上网络波动也会导致超时，可以试试这些小技巧：

• 给浏览器加真实的User-Agent，避免被识别为爬虫：

  options = webdriver.ChromeOptions()
  options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
  driver = webdriver.Chrome(options=options)
  

• 每次请求后加随机延迟，比如import time; import random; time.sleep(random.uniform(2, 4))
• 如果用无头模式，记得加上options.add_argument("--headless=new")（新版Chrome的无头模式更接近真实浏览器）

4. 排查代码差异 #

你说之前成功过一次，不妨对比两次的代码：是不是之前的元素选择器不同？或者当时页面没有iframe嵌套？可以打开浏览器开发者工具（F12），检查当前页面的DOM结构，确认目标元素的定位是否正确。

内容的提问来源于stack exchange，提问作者meotjinggum