如何在ASP.NET Core中加载外部网站的指定区域？

1. 抓取外部页面的HTML内容 #

用HttpClient发起请求获取目标页面的完整HTML代码，示例代码：

private readonly HttpClient _httpClient;

public ExternalContentController(HttpClient httpClient)
{
    _httpClient = httpClient;
    // 设置请求头模拟浏览器，避免被反爬拦截
    _httpClient.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36");
}

public async Task<string> FetchExternalPageHtml(string targetUrl)
{
    var response = await _httpClient.GetAsync(targetUrl);
    response.EnsureSuccessStatusCode();
    return await response.Content.ReadAsStringAsync();
}

2. 解析HTML提取指定元素 #

使用HtmlAgilityPack库解析HTML，精准提取目标span标签。首先安装NuGet包：

dotnet add package HtmlAgilityPack

然后编写提取逻辑：

public string ExtractTargetSpan(string htmlContent, string xpathExpression)
{
    var htmlDoc = new HtmlDocument();
    htmlDoc.LoadHtml(htmlContent);
    
    // 示例XPath：提取id为"specific-span"的span标签，可根据需求修改
    var targetSpan = htmlDoc.DocumentNode.SelectSingleNode(xpathExpression);
    return targetSpan?.InnerHtml ?? "目标元素未找到";
}

3. 在视图中渲染提取的内容 #

将提取到的内容传入视图，用@Html.Raw()直接渲染HTML内容（避免被转义）：

MVC视图示例 #

public async Task<IActionResult> ShowExternalSpan()
{
    var targetUrl = "https://example.com/target-page";
    var pageHtml = await FetchExternalPageHtml(targetUrl);
    var spanContent = ExtractTargetSpan(pageHtml, "//span[@id='specific-span']");
    return View(model: spanContent);
}

对应的视图代码：

@model string

<div class="external-content">
    @Html.Raw(Model)
</div>

关键注意事项 #

• 必须遵守目标网站的使用条款和robots.txt规则，禁止未经授权的批量抓取
• 要处理目标页面结构变化的情况，增加空值判断和异常捕获
• 若目标网站有反爬机制，可能需要额外处理Cookie、请求频率限制等问题

内容的提问来源于stack exchange，提问作者mirad100 ssa