在C#中从Hadoop API URL获取数据遇模板占位符问题

你遇到的问题很常见：用WebClient直接下载得到的是未渲染的模板HTML，而不是填充了实际数据的内容。这通常有两个原因：服务器需要特定的请求头才会返回渲染后的内容，或者页面是通过JavaScript动态加载数据的（WebClient不会执行JS）。下面分情况给出解决方案：

情况1：服务器需要模拟浏览器请求头 #

有些Hadoop Web UI会检查请求的User-Agent、Accept等头信息，只有识别为浏览器的请求才会返回渲染后的页面。你可以给WebClient添加这些头，模拟浏览器请求：

using System.Net;

using (var client = new WebClient())
{
    // 添加浏览器风格的请求头，让服务器认为是浏览器访问
    client.Headers.Add(HttpRequestHeader.UserAgent, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
    client.Headers.Add(HttpRequestHeader.Accept, "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
    
    string renderedHtml = client.DownloadString("http://your-hadoop-ui-url");
    // 接下来解析HTML提取数值
}

情况2：页面通过JavaScript动态加载数据 #

如果添加请求头后还是拿到模板，说明数据是前端JS动态渲染的。WebClient没有JS引擎，无法执行页面脚本，这时候需要用带JS执行能力的工具，比如Puppeteer Sharp（.NET版的Puppeteer）：

1. 先通过NuGet安装PuppeteerSharp包
2. 用以下代码获取渲染完成的页面：

using PuppeteerSharp;

// 第一次运行需要下载Chromium浏览器，后续会缓存
await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultChromiumRevision);

using (var browser = await Puppeteer.LaunchAsync(new LaunchOptions { Headless = true }))
using (var page = await browser.NewPageAsync())
{
    await page.GoToAsync("http://your-hadoop-ui-url");
    // 等待页面加载完成，或者等待目标元素出现
    await page.WaitForSelectorAsync("//tr[th/text()=' Configured Capacity:']/td");
    
    string renderedHtml = await page.GetContentAsync();
    // 解析HTML提取数值
}

解析HTML提取实际数值 #

拿到渲染后的HTML后，推荐用HtmlAgilityPack（NuGet包）来解析，比手动字符串处理更可靠：

1. 安装HtmlAgilityPack NuGet包
2. 解析代码示例：

using HtmlAgilityPack;

var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(renderedHtml);

// 用XPath定位到目标td元素
var targetTd = htmlDoc.DocumentNode.SelectSingleNode("//tr[th[text()=' Configured Capacity:']]/td");
if (targetTd != null)
{
    string capacityValue = targetTd.InnerText.Trim();
    // capacityValue就是你要的"55"啦
    Console.WriteLine($"Configured Capacity: {capacityValue}");
}

额外建议：优先调用Hadoop的REST API #

其实Hadoop提供了专门的REST API（比如NameNode的JMX API、WebHDFS API）来获取集群状态数据，直接调用这些API会比解析HTML更稳定（HTML结构可能随版本变化）。比如JMX API的地址通常是http://namenode-host:50070/jmx，返回的是JSON格式数据，更容易解析。

内容的提问来源于stack exchange，提问作者Mano