使用HtmlAgilityPack获取网页源码时Alt代码符号乱码求助

嘿，这个乱码问题我做网页抓取的时候也踩过坑！你看到的★变成★，本质是编码识别错误——HtmlWeb默认的编码检测逻辑没正确识别目标网页的字符编码，把UTF-8的多字节字符当成了单字节编码（比如ISO-8859-1）来解析，就出现了这种奇怪的乱码符号。

下面给你几个靠谱的解决方案，按优先级来：

1. 手动指定网页编码（最直接） #

如果你已经知道目标网页的编码（比如通过浏览器查看源码里的<meta charset="UTF-8">，或者响应头的Content-Type字段），直接给HtmlWeb指定编码就行：

var url = "http://www.example.com";
var web = new HtmlWeb();
// 假设网页是UTF-8编码，直接指定
web.OverrideEncoding = Encoding.UTF8;
var doc = web.Load(url);
sourcecodetxt.Text = doc.ToString();

2. 开启自动编码检测 #

如果不确定编码，或者目标网页编码可能变化，可以开启HtmlAgilityPack的自动编码检测功能：

var url = "http://www.example.com";
var web = new HtmlWeb();
web.AutoDetectEncoding = true;
// 可选：优先读取网页meta标签里声明的编码
web.UseMetaCharset = true;
var doc = web.Load(url);
sourcecodetxt.Text = doc.ToString();

3. 手动处理响应流（最稳妥） #

如果上面两种方法还是不行，那就绕开HtmlWeb的默认加载逻辑，自己用HttpWebRequest获取响应，完全掌控编码解析过程：

var url = "http://www.example.com";
var request = (HttpWebRequest)WebRequest.Create(url);
using (var response = (HttpWebResponse)request.GetResponse())
{
    // 先从响应头获取编码
    Encoding encoding = null;
    var contentType = response.Headers["Content-Type"];
    if (!string.IsNullOrEmpty(contentType))
    {
        var charsetMatch = Regex.Match(contentType, @"charset=(?<charset>[^;]+)");
        if (charsetMatch.Success)
        {
            encoding = Encoding.GetEncoding(charsetMatch.Groups["charset"].Value);
        }
    }
    // 响应头没编码的话，默认用UTF-8兜底
    encoding ??= Encoding.UTF8;

    // 读取响应流并加载到HtmlDocument
    using (var stream = response.GetResponseStream())
    using (var reader = new StreamReader(stream, encoding))
    {
        var htmlContent = reader.ReadToEnd();
        var doc = new HtmlDocument();
        doc.LoadHtml(htmlContent);
        sourcecodetxt.Text = doc.ToString();
    }
}

总结一下：先试试手动指定编码，不行就开自动检测，再不行就自己处理响应流，基本能解决99%的乱码问题。

内容的提问来源于stack exchange，提问作者Narender Godara