Java实现UTF-8特殊字符替换遇阻，求可行解决方案

问题背景 #

发送系统支持完整UTF-8字符集，但目标系统仅支持子集，需要将特殊UTF-8字符替换为普通字符。映射表文本格式示例：

D̂;D

其中分号前是待替换的特殊字符，分号后是目标字符。

已将映射表读取至HashMap，代码如下（执行正常）：

String line;
while((line = bufferedReader.readLine()) != null) {
    characterMap.put(
            line.substring(0, line.indexOf(";")),
            line.substring(line.indexOf(";") + 1)
    );
}
bufferedReader.close();

但替换代码执行后，target与source内容完全一致，替换未生效：

String target = "";
for (Map.Entry<String, String> entry : characterMap.entrySet()) {
    target = source.replace(entry.getKey(), entry.getValue());
}

失效原因 #

• 替换逻辑错误：每次循环都从原始的source字符串重新替换，而非基于上一次替换后的结果继续处理。这意味着只有最后一个映射条目会生效，如果最后一个条目没有匹配到任何字符，最终target就和source完全相同。
• 特殊字符截取风险：部分特殊UTF-8字符（比如示例中的D̂，是基础字符D+组合抑扬符）属于Unicode组合序列，占多个char位置。直接用substring按索引截取可能会拆分这些组合字符，导致HashMap中的键与原字符串中的字符不匹配。

修正方案 #

1. 修复替换循环逻辑 #

初始化target为原始字符串source，每次循环基于当前target的结果进行替换，实现累积替换：

String target = source;
for (Map.Entry<String, String> entry : characterMap.entrySet()) {
    target = target.replace(entry.getKey(), entry.getValue());
}

2. 优化特殊字符读取逻辑（可选但推荐） #

针对Unicode组合序列或代理对字符，确保读取映射表时完整截取特殊字符：

String line;
while ((line = bufferedReader.readLine()) != null) {
    int semicolonPos = line.indexOf(';');
    if (semicolonPos == -1) {
        continue; // 跳过格式错误的行
    }
    // 按代码点截取分号前的完整字符，避免拆分组合序列
    int codePointCount = line.codePointCount(0, semicolonPos);
    String key = new String(line.codePoints().limit(codePointCount).toArray(), 0, codePointCount);
    String value = line.substring(semicolonPos + 1);
    characterMap.put(key, value);
}
bufferedReader.close();

3. 性能优化（针对大量映射条目） #

如果映射表条目较多，使用StringBuilder结合Matcher可以提升替换效率：

StringBuilder sb = new StringBuilder(source);
Pattern pattern = Pattern.compile(String.join("|", characterMap.keySet()));
Matcher matcher = pattern.matcher(sb);
while (matcher.find()) {
    matcher.appendReplacement(sb, characterMap.get(matcher.group()));
}
matcher.appendTail(sb);
String target = sb.toString();

内容的提问来源于stack exchange，提问作者Daniel Pomrehn