如何自动将抓取网页的HTML特殊字符转换为可读文本

问题根因 #

你遇到的是典型的UTF-8编码内容被错误按ISO-8859-1（Latin-1）单字节编码解析导致的乱码，不需要手动把特殊字符逐个替换为HTML实体。其他网站能直接正常显示→这类字符，核心原因就是全链路统一使用UTF-8编码，没有出现编码解析错配。
你列出的几个乱码样例完全符合该错配特征：

• 原字符Δ（UTF-8编码双字节为0xCE 0x94）被按Latin-1拆分解析后就会显示为Δ
• 原字符→（UTF-8编码三字节为0xE2 0x86 0x92）被按Latin-1拆分解析后就会显示为→
• 原字符−（UTF-8编码三字节为0xE2 0x88 0x92）被按Latin-1拆分解析后就会显示为−

你之前写的正则替换代码不生效的原因很明确：正则处理的对象已经是错解析后的乱码文本，此时拿到的字符编码本身就是错误的，转出来的HTML实体自然无法对应到原字符，且直接调用document.write输出还可能引入额外的解析异常。

可行解决方案 #

方案1（优先推荐）：全链路统一UTF-8编码，零替换成本 #

从抓取到展示的全流程统一编码，不需要做任何特殊字符替换即可正常显示所有内容：

• 抓取环节：发起网页请求时明确指定响应编码为UTF-8，拿到二进制响应体后必须用UTF-8解码为字符串，不要使用默认的Latin-1编码。例如Python爬虫中要显式设置response.encoding = 'utf-8'，Node.js爬虫中要将响应Buffer按utf-8格式转字符串，禁止用latin1/binary编码做转换。
• 网站展示环节：在HTML的<head>标签最靠前位置加编码声明，强制浏览器用UTF-8解析页面：

<meta charset="UTF-8">

如果是服务端渲染页面，还要确保HTTP响应头的Content-Type字段值为text/html; charset=utf-8，不要留空或指定为其他编码。只要全链路编码统一，所有Unicode特殊字符都可以直接正常渲染，不需要转换为HTML实体。

方案2：修复已存储的乱码文本 #

如果已经存储了大量乱码内容、无法重新抓取，不需要逐个替换字符，直接做编码逆向转换即可批量修复所有同类型乱码，浏览器端可直接使用以下代码：

function fixMojibake(messyStr) {
  const byteArr = new Uint8Array(messyStr.length);
  for (let i = 0; i < messyStr.length; i++) {
    byteArr[i] = messyStr.charCodeAt(i);
  }
  return new TextDecoder('utf-8').decode(byteArr);
}

// 调用示例
const badText = 'a +ΔS → <−>';
const goodText = fixMojibake(badText); // 输出结果：a +ΔS → <−>

该方法不需要维护特殊字符映射表，一次转换即可修复所有同原因导致的乱码，效率远高于手动替换或正则匹配转实体。

补充说明：如果需要防范XSS，只需要转义<、>、&、"、'这5个HTML语法相关的特殊字符即可，其余普通Unicode字符只要编码正确，不需要转换为HTML实体就能正常显示。

内容的提问来源于stack exchange，提问作者Jade Laurence C. Empleo