爬虫开发：HTML页面多样式href链接规范化处理需求

嘿，我刚好在做.NET爬虫的时候踩过这个坑，给你几个实用的方案来搞定链接规范化的问题！

首先得说句实在的：用正则表达式提取href真的很容易翻车——比如遇到单引号包裹的href='xxx'、没有引号的href=xxx，甚至是带有转义字符的链接，正则要么漏抓要么抓错。更稳妥的方式是用专门的HTML解析库来提取链接，然后再做规范化处理，下面给你具体的.NET实现思路：

第一步：用HTML解析库替代正则提取href #

推荐用HtmlAgilityPack，这是.NET圈里超流行的HTML解析库，能准确解析HTML结构，不会像正则那样乱匹配：

using HtmlAgilityPack;

// 假设你已经拿到了目标页面的HTML字符串
string htmlContent = "..."; // 你的HTML内容
HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(htmlContent);

// 精准抓取所有带href属性的a标签
var linkNodes = doc.DocumentNode.SelectNodes("//a[@href]");
if (linkNodes != null)
{
    foreach (var node in linkNodes)
    {
        string rawHref = node.GetAttributeValue("href", string.Empty);
        // 接下来对rawHref做规范化处理，记得传入当前页面的基URL（比如你爬的这个页面的完整URL）
        string normalizedUrl = NormalizeUrl(rawHref, "http://www.example.com");
        // 现在就可以用这个标准化后的URL发起请求了
    }
}

第二步：实现链接规范化函数 #

.NET自带的Uri类简直是处理链接的神器，核心思路就是用当前页面的完整URL作为参考，把各种花里胡哨的相对链接、不完整链接转成标准的绝对链接：

private string NormalizeUrl(string rawUrl, string baseUrl)
{
    if (string.IsNullOrWhiteSpace(rawUrl))
        return string.Empty;
    
    // 先处理你提到的截断链接，比如末尾带省略号的http://www.example.com/produ...
    rawUrl = rawUrl.TrimEnd('.');
    
    Uri baseUri;
    if (!Uri.TryCreate(baseUrl, UriKind.Absolute, out baseUri))
        return string.Empty;
    
    Uri absoluteUri;
    if (Uri.TryCreate(baseUri, rawUrl, out absoluteUri))
    {
        // 还可以加些可选的标准化操作：比如统一转成小写、移除冗余参数之类的
        return absoluteUri.ToString();
    }
    
    return string.Empty;
}

额外的实用小技巧 #

• 截断链接处理：像你遇到的那种末尾带...的链接，先把末尾的点去掉再解析，大部分情况能恢复成完整链接（不过有时候页面上显示的截断是前端做的，实际href本来就是完整的，加这个处理更保险）
• 过滤无效链接：规范化后可以检查absoluteUri.IsAbsoluteUri，确保是合法的绝对链接，避免后续请求报错
• 统一协议：如果想把所有链接都转成HTTPS，可以用UriBuilder来改：

  var builder = new UriBuilder(absoluteUri);
  builder.Scheme = Uri.UriSchemeHttps;
  builder.Port = -1; // 用默认端口
  normalizedUrl = builder.Uri.ToString();
  

这样处理完，不管是相对链接（比如/products、../about）、不完整的绝对链接（比如www.example.com）还是截断的链接，都能变成可以直接用HttpWebRequest请求的标准URL啦！

内容的提问来源于stack exchange，提问作者Simon Jensen