Java中构造无法UTF-8编码的字符串用于API输入验证测试

问题背景 #

我维护着一个Java后端服务，原有Java 8输入验证方法使用ASCII编码校验：

private static boolean containsDisallowedChars(String toValidate) {
    return !StandardCharsets.US_ASCII.newEncoder().canEncode(toValidate);
}

为支持印地语等非英文字符，我将其修改为UTF-8编码校验：

private static boolean containsDisallowedChars(String toValidate) {
    return !StandardCharsets.UTF_8.newEncoder().canEncode(toValidate);
}

现在我需要更新单元测试，传入能让该方法返回false的字符串，但尝试构造无效UTF-8字节数组、Base64编码等方式后，String对象始终被转换为合法UTF-8字符串，导致canEncode始终返回true。请问：

• 是否能创建无法被UTF-8编码的Java String？
• 若不能，该验证方法是否多余？
• 或有其他验证方案？

解答 #

1. 不存在无法被UTF-8编码的Java String #

Java的String内部采用UTF-16编码存储，而UTF-8和UTF-16都是Unicode字符集的编码实现，UTF-8可以覆盖所有Unicode字符。任何合法的Java String对象，其包含的字符都是Unicode范围内的有效字符，必然能被UTF-8编码器处理。

你尝试构造的无效UTF-8字节数组，在转换成String时，Java会自动替换无效字节为�（替换字符），生成合法的Unicode字符串，所以canEncode永远返回true，不可能得到false的结果。

2. 当前UTF-8验证方法完全多余 #

由于所有合法Java String都能被UTF-8编码，!StandardCharsets.UTF_8.newEncoder().canEncode(toValidate)的结果永远是false，这个方法无法起到任何输入验证的作用，属于冗余代码，建议移除。

3. 替代验证方案 #

需要根据你的真实业务需求选择对应方案：

• 过滤不可见控制字符：如果是要禁止不可见的控制字符，可以遍历字符串的每个字符，通过!Character.isISOControl(c)判断，或者使用正则表达式^[\p{Print}]*$匹配所有可打印字符。
• 限制字符范围：如果是只允许特定语言（如印地语+英文），可以用正则匹配对应的Unicode区块，比如印地语对应\p{InDevanagari}，结合英文的\p{BasicLatin}，示例正则：^[\p{BasicLatin}\p{InDevanagari}]*$。
• 校验原始字节的UTF-8合法性：如果你的场景是接收外部字节流（如HTTP请求、上传文件），不要先转换成String，直接对原始字节数组做校验。可以使用CharsetDecoder手动处理，捕获MalformedInputException，或者利用StandardCharsets.UTF_8.newDecoder().onMalformedInput(CodingErrorAction.REPORT)配置来检测无效字节。

内容的提问来源于stack exchange，提问作者Ris Misner