Java读取UTF-8编码HTML文件时Unicode字符𦮼解析异常求助

你遇到的是典型的UTF-8字符被错误转码的问题：原字符𦮼（U+26BBC）的UTF-8编码是f0 a6 ae bc（4字节），但读取后变成了e0 a6 ae c2 bc，对应两个字符ম（U+09AE）和¼（U+00BC）。这种情况的核心原因是原字节序列被错误地以非UTF-8编码读取后，又重新转成了UTF-8，导致字节被篡改。

具体原因分析 #

• 文件实际编码与声明不符：虽然HTML标记为UTF-8，但文件可能在保存/传输时被错误转码。比如原本的UTF-8字节被当成单字节编码（如ISO-8859-1/Windows-1252）读取，再重新保存为UTF-8，就会把原4字节拆成一个3字节UTF-8字符+一个2字节UTF-8字符。
• Java读取时编码设置未生效：如果代码中使用了默认编码的读取方式（比如FileReader），而系统默认编码不是UTF-8，就会导致字节被错误解析。
• HTML解析库的编码推断错误：如果用了jsoup等解析库，它可能会根据HTML的meta标签或文件BOM推断编码，若推断错误就会出现转码问题。

解决方案 #

• 验证文件实际字节：用二进制编辑器（如Notepad++的十六进制模式）打开文件，确认目标字符的字节是否为f0 a6 ae bc。如果不是，重新以UTF-8编码保存原文件。
• 强制指定UTF-8读取：在Java代码中明确指定UTF-8编码，避免使用默认编码：

  // 直接读取文件内容
  String content = Files.readString(Paths.get("your-file.html"), StandardCharsets.UTF_8);
  
  // 或用InputStreamReader
  try (InputStreamReader reader = new InputStreamReader(
          new FileInputStream("your-file.html"), StandardCharsets.UTF_8)) {
      // 读取逻辑
  }
  

• 强制HTML解析库使用UTF-8：如果用jsoup解析HTML，强制指定编码：

  Document doc = Jsoup.parse(new File("your-file.html"), "UTF-8");
  

• 排查中间转码环节：检查代码中是否有多余的转码操作（比如new String(str.getBytes("ISO-8859-1"), "UTF-8")这类错误代码），这类操作会破坏原UTF-8字节序列。

内容的提问来源于stack exchange，提问作者Sander Smith