Selenium Chrome Driver如何加载所有框架并获取完整页面源码？

这个坑我之前帮好几个开发者踩过——当页面用了<frameset>和<frame>结构时，driver.PageSource只会返回**主文档（就是包含frameset标签的那个顶层页面）**的源码，不会自动帮你加载并合并所有子frame里的内容。这就是你拿到的源码不完整的核心原因，下面给你几个可行的解决方案：

1. 主动切换到每个Frame，分别获取源码再合并 #

这是最直接的解决思路：先拿到主文档的源码，然后遍历所有frame，逐个切换进去获取子页面的源码，最后把所有内容拼接起来。如果有嵌套的frame（frame里还套着frame），还可以写个递归方法处理。

示例代码：

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;

var chromeOption = new ChromeOptions();
chromeOption.AddArgument("--headless");
chromeOption.AddArgument("--window-size=1920,1080"); // 避免响应式布局加载异常
Console.WriteLine("Getting into the Application");

using (var driver = new ChromeDriver(chromeOption))
{
    Console.WriteLine("Loading the Web Page");
    driver.Navigate().GoToUrl("http://www.xyz.dk/");
    
    // 先获取主文档的源码
    var fullHtml = driver.PageSource;
    
    // 获取页面中所有的frame元素
    var frames = driver.FindElements(By.TagName("frame"));
    
    foreach (var frame in frames)
    {
        try
        {
            // 切换到当前frame
            driver.SwitchTo().Frame(frame);
            // 将当前frame的源码追加到完整内容里，加个注释区分
            fullHtml += "\n<!-- 子Frame内容 -->\n" + driver.PageSource;
            // 切回主文档，准备处理下一个frame
            driver.SwitchTo().DefaultContent();
        }
        catch (NoSuchFrameException ex)
        {
            Console.WriteLine($"跳过无法加载的frame: {ex.Message}");
            driver.SwitchTo().DefaultContent(); // 确保切回主文档，不影响后续循环
        }
    }
    
    // 现在fullHtml就是包含主文档+所有子frame的完整内容了
    Console.WriteLine(fullHtml);
}

2. 等待Frame完全加载后再获取内容 #

Headless模式下，页面加载速度可能和正常浏览器有差异，有时候你获取源码时，子frame还没加载完成。这时候可以加显式等待，确保所有frame都加载完毕再操作。

需要先引入OpenQA.Selenium.Support.UI命名空间，然后修改代码：

using OpenQA.Selenium.Support.UI;
using System;

// ... 其他代码 ...

driver.Navigate().GoToUrl("http://www.xyz.dk/");

// 最多等待10秒，直到页面中至少有一个frame出现
var wait = new WebDriverWait(driver, TimeSpan.FromSeconds(10));
wait.Until(d => d.FindElements(By.TagName("frame")).Count > 0);

// 之后再执行获取frame源码的操作（参考方法1的代码）

3. 调整Headless模式的Chrome参数 #

有时候Headless模式的默认配置会导致页面加载异常，比如窗口尺寸太小触发响应式布局，或者沙箱机制限制加载。可以添加这些参数试试：

chromeOption.AddArgument("--headless");
chromeOption.AddArgument("--no-sandbox");
chromeOption.AddArgument("--disable-gpu");
chromeOption.AddArgument("--window-size=1920,1080"); // 设置和正常浏览器一样的窗口大小
chromeOption.AddArgument("--enable-javascript"); // 确保JS正常执行，有些frame依赖JS加载

额外提醒 #

如果页面里的frame需要登录权限，或者有反爬机制（比如检测Headless模式），那你可能还需要处理登录逻辑，或者给Chrome添加模拟正常浏览器的参数（比如--user-agent设置成正常浏览器的UA）。

内容的提问来源于stack exchange，提问作者Heveen Kejiou