使用HtmlAgilityPack的C#爬虫无法抓取立陶宛语特殊字符

嘿，我之前处理过类似的编码坑，立陶宛语的ąėęįųūčšž这些特殊字符变成问号，大多是编码识别偏差搞的鬼——要么是HttpClient自动猜编码错了，要么是HtmlAgilityPack加载时没用到正确的编码。下面给你几个按优先级排序的解决方案，一步步试应该能搞定：

第一步：先搞清楚网站真实用的是什么编码 #

别光凭经验假设是ISO-8859-4，先确认网站的实际编码：

• 打开浏览器F12，切到Network标签，刷新页面后看主请求的Response Headers里的Content-Type字段，比如有没有charset=iso-8859-4或者utf-8
• 或者直接看网页源码的<meta>标签，比如有没有<meta charset="utf-8">或者<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-4">
  这一步是基础，编码猜错了后面全白搭。

第二步：强制HttpClient用正确编码解析响应 #

有时候HttpClient的自动编码识别会抽风，别依赖它，手动读取字节流再转成字符串：

var client = new HttpClient();
// 可选：添加Accept头，但关键是下面的编码处理
client.DefaultRequestHeaders.Accept.Add(new MediaTypeWithQualityHeaderValue("text/html"));

var response = await client.GetAsync("你的目标URL");
// 先读取字节流，避免HttpClient自动转码出错
var responseBytes = await response.Content.ReadAsByteArrayAsync();
// 用你确认的编码转成字符串（比如ISO-8859-4或者UTF-8）
var htmlContent = Encoding.GetEncoding("ISO-8859-4").GetString(responseBytes);

// 再把字符串加载到HtmlAgilityPack
var htmlDoc = new HtmlDocument();
htmlDoc.LoadHtml(htmlContent);

第三步：让HtmlAgilityPack直接用指定编码加载流 #

如果上面的方法还是不行，试试跳过字符串转换，直接让HtmlAgilityPack从流加载并指定编码：

var client = new HttpClient();
var response = await client.GetAsync("你的目标URL");
var responseStream = await response.Content.ReadAsStreamAsync();

var htmlDoc = new HtmlDocument();
// 直接给HtmlAgilityPack指定编码加载流
htmlDoc.Load(responseStream, Encoding.GetEncoding("ISO-8859-4"));

这样能避免中间环节的编码转换错误，让HtmlAgilityPack一步到位用正确编码解析。

第四步：检查输出/保存环节的编码 #

有时候抓取到的内容其实是对的，但输出到控制台或者保存文件时用错了编码：

• 如果是保存到文件：

  // 用正确编码保存，比如ISO-8859-4
  File.WriteAllText("result.html", htmlContent, Encoding.GetEncoding("ISO-8859-4"));
  // 如果网站是UTF-8就用这个：
  // File.WriteAllText("result.html", htmlContent, Encoding.UTF8);
  

• 如果是控制台输出：
  控制台默认编码可能不支持立陶宛语，临时改一下：

  Console.OutputEncoding = Encoding.GetEncoding("ISO-8859-4");
  // 或者UTF-8：
  // Console.OutputEncoding = Encoding.UTF8;
  Console.WriteLine(htmlContent);
  

额外小提示 #

• ISO-8859-4也叫Latin-4，所以Encoding.GetEncoding("Latin-4")和Encoding.GetEncoding("ISO-8859-4")是一样的
• 如果网站的响应头和meta标签编码不一致，优先以meta标签里的编码为准

内容的提问来源于stack exchange，提问作者agne