为何AgilityPack无法加载浏览器动态文本？网页爬取问题求助

问题根源 #

1. WebBrowser控件兼容性不足：LoadFromBrowser依赖的WebBrowser基于旧版IE内核，无法正确渲染目标网站的现代JavaScript代码，导致动态生成的表格mytable0未被加载完全。
2. 数据获取方式错误：直接提取doc.Text会丢失HTML结构，无法获取表格的结构化数据；同时WebBrowser会自动将HTML标签转为大写，这是控件自身的默认行为。

解决方案 #

方案一：升级渲染引擎（推荐） #

替换WebBrowser为基于Chromium的无头浏览器（如PuppeteerSharp），确保正确解析现代JS渲染的内容：

1. 安装PuppeteerSharp NuGet包：

Install-Package PuppeteerSharp

2. 爬取数据的代码实现：

using PuppeteerSharp;
using HtmlAgilityPack;

var url = "https://masseyratings.com/nba/games";

// 首次运行自动下载Chromium
await new BrowserFetcher().DownloadAsync();

// 启动无头浏览器
using var browser = await Puppeteer.LaunchAsync(new LaunchOptions { Headless = true });
using var page = await browser.NewPageAsync();

// 导航到目标页面，等待表格加载完成
await page.GoToAsync(url);
await page.WaitForSelectorAsync("#mytable0");

// 获取页面完整HTML
var html = await page.GetContentAsync();

// 用HtmlAgilityPack解析HTML
var doc = new HtmlDocument();
doc.LoadHtml(html);

// 提取表格的完整HTML用于后续处理
var table = doc.GetElementbyId("mytable0");
currentSiteData = table?.OuterHtml ?? string.Empty;

方案二：修复现有WebBrowser代码（临时方案） #

如果必须使用LoadFromBrowser，需调整兼容性设置并修正数据获取逻辑：

1. 强制WebBrowser使用IE11渲染模式：
   在项目的App.config或Web.config中添加以下配置：

<configuration>
  <system.windows.forms>
    <webBrowser>
      <browserEmulation mode="11001" />
    </webBrowser>
  </system.windows.forms>
</configuration>

2. 修正等待与数据提取逻辑：

var url = "https://masseyratings.com/nba/games";

HtmlWeb web = new HtmlWeb();
var doc = web.LoadFromBrowser(url, o =>
{
    var webBrowser = (WebBrowser)o;
    // 等待表格存在且包含有效行数据，避免空表格误判
    var table = webBrowser.Document.GetElementById("mytable0");
    return table != null && table.Rows.Count > 1; // 表头+至少一行数据
});

// 提取表格的完整HTML而非文档文本
var tableNode = doc.GetElementbyId("mytable0");
currentSiteData = tableNode?.OuterHtml ?? string.Empty;

// 可选：将大写标签转为小写，统一格式
currentSiteData = currentSiteData.Replace("<TR", "<tr").Replace("</TR", "</tr")
                                 .Replace("<TD", "<td").Replace("</TD", "</td")
                                 .Replace("<TH", "<th").Replace("</TH", "</th");

关键说明 #

• 优先选择方案一，WebBrowser的兼容性问题难以彻底解决，现代无头浏览器能更可靠地处理动态渲染的网站。
• 保存表格的OuterHtml而非文档文本，才能保留结构化数据，方便后续解析行、列内容。

内容的提问来源于stack exchange，提问作者Trey Balut