Java中特定特殊字符编码处理异常：字符计数与内部存储不符问题求助

首先得明确：你提到的퐿、휇、훼、푝这些都是Unicode BMP平面内的韩文音节字符，正常情况下在Java字符串里应该是单个char，String.length()返回1。现在出现计数为2、内部显示乱码的情况，问题肯定出在InputStream的解码环节——你以为用了UTF-8/UTF-16，但实际解码逻辑和输入流的真实编码不匹配，导致生成了无效的字符序列。

下面是具体的排查和解决方向：

1. 先确认输入流的真实编码 #

你默认用UTF-8/UTF-16解码，但实际输入可能是其他韩文常用编码（比如EUC-KR、CP949），或者是带BOM的UTF-16（你没处理BOM直接用UTF-8解码）。

可以写一段简单的代码验证：

// 先把输入流读成原始字节数组
byte[] rawBytes = Files.readAllBytes(Paths.get("你的文件路径"));
// 尝试用不同编码解码，看哪个能得到正确的单字符结果
String[] encodings = {"UTF-8", "EUC-KR", "CP949", "UTF-16LE", "UTF-16BE"};
for (String enc : encodings) {
    String tempStr = new String(rawBytes, Charset.forName(enc));
    int idx = tempStr.indexOf('퐿');
    if (idx != -1) {
        System.out.printf("编码%s下，퐿的字符长度：%d%n", enc, tempStr.substring(idx, idx+1).length());
    }
}

如果某个编码下输出的长度是1，那这个就是输入流的真实编码。

2. 排查是否存在“双重转码”的坑 #

比如你的流程可能是：先用错误编码（比如ISO-8859-1）读成乱码字符串，然后又把乱码字符串按错误编码转成字节，再用UTF-8解码成正常显示的字符串。这种情况下，显示和写入文件是正常的，但内存里的中间乱码字符串会被你用来统计字符，自然会出现计数错误。

举个错误流程的例子：

// 错误：先按ISO-8859-1读取（生成乱码）
InputStream is = ...;
String wrongStr = new String(is.readAllBytes(), StandardCharsets.ISO_8859_1);
// 再转成UTF-8得到正常显示的字符串
String correctStr = new String(wrongStr.getBytes(StandardCharsets.ISO_8859_1), StandardCharsets.UTF_8);
// 如果你统计的是wrongStr里的字符，肯定会错

解决办法：确保统计字符用的是最终正确解码的字符串，而非中间的乱码字符串。

3. 检查读取方式是否规范 #

别用默认编码读取（比如new InputStreamReader(is)，会用系统默认编码，大概率不是你要的），一定要显式指定编码：

// 正确的读取方式：显式指定编码
try (InputStreamReader reader = new InputStreamReader(is, StandardCharsets.UTF_8)) {
    StringBuilder sb = new StringBuilder();
    int c;
    while ((c = reader.read()) != -1) {
        sb.append((char) c);
    }
    String targetStr = sb.toString();
    // 在这里统计字符
}

如果输入是带BOM的UTF-16，记得先跳过BOM字节（前两个字节0xFEFF）再解码。

4. 验证是否存在字节损坏 #

如果输入流在传输或存储时丢了字节，比如一个UTF-8三字节字符丢了最后一个字节，解码时会生成一个有效字符+一个替换字符�（U+FFFD），此时length()会返回2。你可以打印原始字节的十六进制值对比：比如퐿的UTF-8十六进制是ED 90 BF，如果你的字节数组里对应位置不是这三个值，说明输入本身有问题。

内容的提问来源于stack exchange，提问作者user1631306