Selenium爬取Betfair嵌套iframe动态内容失败求助

这问题我之前帮不少开发者排查过类似情况，结合你描述的场景，大概率是内容加载时机或者iframe上下文的问题，咱们一步步拆解解决：

1. 最核心的原因：元素未完成动态加载 #

手动操作时你会自然等待页面渲染，但代码是瞬间执行的——刚切换到内层iframe，页面里的赛事统计内容还在异步加载，直接调用find_element肯定找不到元素。

解决方案：使用显式等待（精准等待元素出现） #

放弃直接查找，改用Selenium的WebDriverWait来等待目标元素加载完成，这是处理动态页面的标准做法：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 完成两层iframe切换后
wait = WebDriverWait(browser, 15)  # 最多等待15秒
# 等待元素出现（可根据需求换visibility_of_element_located，确保元素可见）
stats_container = wait.until(
    EC.presence_of_element_located((By.XPATH, "//div[contains(@id, 'in-game-stats')]"))
)

显式等待会在指定时间内轮询页面，直到元素被检测到才继续执行，完美解决timing不匹配的问题。

2. 验证iframe切换后的上下文是否有效 #

有时候页面会动态刷新iframe，导致你之前切换的上下文失效。可以在切换后加个简单验证，确认当前处于正确的iframe中：

# 切换到frame2后打印其ID，确认上下文
print(frame2.get_attribute('id'))

如果能正常输出playerFrame相关的ID，说明上下文没问题；如果报错，需要重新定位iframe再执行切换操作。

3. 确认元素确实存在于当前iframe的源码中 #

虽然手动DevTools能看到元素，但动态页面可能存在iframe嵌套变化，或者元素被临时隐藏。切换到内层iframe后，你可以导出当前页面源码，搜索目标ID：

page_source = browser.page_source
print("in-game-stats" in page_source)

如果输出False，说明元素还没加载，或者你切换的iframe不对；如果是True，那回到第一步的显式等待即可。

4. 警惕网站的反爬机制 #

Betfair这类实时投注网站有严格的反爬策略，可能检测到Selenium的自动化特征，故意不加载内容。可以尝试以下优化：

• 模拟真实用户的浏览器配置：

  from selenium.webdriver.chrome.options import Options
  
  options = Options()
  # 设置真实的User-Agent
  options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
  # 禁用自动化标识
  options.add_experimental_option("excludeSwitches", ["enable-automation"])
  options.add_experimental_option('useAutomationExtension', False)
  # 初始化浏览器
  browser = webdriver.Chrome(options=options)
  

• 在操作之间加入随机延迟，模拟人类的操作节奏：

  import time
  import random
  
  # 切换iframe后随机等待2-5秒
  time.sleep(random.uniform(2, 5))
  

内容的提问来源于stack exchange，提问作者Bert Johansson