Java中替换XML字符串非UTF-8字符为单个空格的问题

问题背景 #

XML字符串中原本的撇号’因编码不匹配显示为乱码’，尝试以下两种替换方式均存在问题：

• 使用replaceAll("[^\\x00-\\x7F]"," ")会将乱码的3个非ASCII字符各替换为一个空格，得到abc s house.，不符合单个空格的需求
• 直接写s.replace("’", " ")在Eclipse中正常，但打包为可执行Jar后，代码中的’会被编译器转换为正确的’，导致无法匹配原字符串中的乱码，替换失效

可行解决方案 #

1. 构造准确的乱码字符串（避免编译编码干扰）

乱码’是UTF-8编码的’（U+2019）被错误解码为ISO-8859-1的结果，对应字节为0xE2 0x82 0x99。通过字节数组构造乱码字符串，绕过编译时的编码自动转换：

// 构造与原乱码完全一致的字符串
String messyApostrophe = new String(new byte[]{(byte)0xE2, (byte)0x82, (byte)0x99}, "ISO-8859-1");
s = s.replace(messyApostrophe, " ");

此方法能精准匹配乱码，替换为单个空格，不受编译环境编码影响。

2. 从根源修复编码问题

先将错误解码的字符串转换回正确的UTF-8编码，再处理目标字符：

// 还原正确编码
byte[] rawBytes = s.getBytes("ISO-8859-1");
s = new String(rawBytes, "UTF-8");
// 替换正确的撇号为空格（或保留原字符）
s = s.replace("’", " ");

该方案适合批量修复所有编码错误的字符，而非仅处理撇号。

3. 正则匹配连续非ASCII字符

若需处理所有连续非ASCII乱码段，替换为单个空格，可使用贪婪匹配的正则：

// 匹配任意连续的非ASCII字符，替换为单个空格
s = s.replaceAll("[^\\x00-\\x7F]+", " ");

此方法会将任意长度的连续非ASCII乱码统一替换为一个空格，适合通用场景。

内容的提问来源于stack exchange，提问作者Somebody