使用C#的HTMLAgilityPack解析印地语/马拉地语亚马逊评论遇编码问题

问题根源 #

亚马逊评论页面的非英文字符常以HTML实体编码（如म这类Unicode转义序列）存储，或加载HTML时编码识别不匹配，导致提取的文本未被正确解码为可读的本地语言字符。

解决方案步骤 #

1. 正确加载HTML并匹配编码 #

不要硬编码UTF-8，优先让HTMLAgilityPack自动识别编码，或根据页面实际编码手动指定：

using HtmlAgilityPack;
using System.Net;

var web = new HtmlWeb();
// 开启自动编码检测，优先读取HTTP响应头或页面meta标签的编码设置
web.AutoDetectEncoding = true;
// 若已知页面固定为UTF-8，可强制指定
// web.OverrideEncoding = Encoding.UTF8;

var doc = web.Load("亚马逊评论页面URL");

如果是从本地字符串加载HTML，确保先处理编码：

var rawHtml = "从亚马逊获取的HTML内容字符串";
var doc = new HtmlDocument();
// 加载前先解码HTML实体，避免编码残留
doc.LoadHtml(WebUtility.HtmlDecode(rawHtml));

2. 手动解码HTML实体 #

若提取的InnerText仍显示编码值，对文本做实体解码：

// 根据实际页面结构调整XPath选择器
var commentNodes = doc.DocumentNode.SelectNodes("//div[contains(@class, 'review-text-content')]");
if (commentNodes != null)
{
    foreach (var node in commentNodes)
    {
        var rawText = node.InnerText;
        // 解码HTML实体，转换为可读的本地语言文本
        var decodedText = WebUtility.HtmlDecode(rawText);
        // 处理解码后的文本
        Console.WriteLine(decodedText);
    }
}

3. 验证页面编码声明 #

确认亚马逊评论页面的<meta>标签编码设置，比如：

<meta charset="UTF-8">

若页面使用其他编码（如ISO-8859-1），需同步调整OverrideEncoding参数。

关键注意事项 #

• 避免依赖默认编码设置，明确匹配页面实际编码
• 非英文字符几乎都会以HTML实体形式存在，必须解码后才能正常使用
• 调试时可先输出InnerHtml查看原始内容，确认是否为实体编码导致的问题

内容的提问来源于stack exchange，提问作者Prajwal Gunjal