Java中UTF-8 BOM处理问题：substring跨环境行为差异排查

问题描述 #

你编写的移除BOM头的Java代码如下：

public static String removeBOMIndicator(String line) {
    if (line.length() > 1) {
        byte[] bytes = line.getBytes();
        if (bytes.length >= 3 && bytes[0] == (byte) 0xEF && bytes[1] == (byte) 0xBB && bytes[2] == (byte) 0xBF) {
            line = line.substring(1);
        }
    }
    return line;
}

这段代码在IntelliJ或SonarQube中测试正常，但通过Git Bash执行mvn surefire:test -Dtest=RemoveBomHeadertTest时，输出开头会出现╗┐两个乱码字符；若将代码改为移除前3个字符，Git Bash下运行正常，但IntelliJ中会丢失字符串的前两个正常字符。

核心原因 #

问题出在依赖JVM默认字符编码的不可靠性，以及混淆了字节级BOM和字符串级字符的处理逻辑：

1. BOM的本质是字节序列：UTF-8的BOM是EF BB BF三个字节，属于字节流层面的标识，而非Unicode字符。但用UTF-8编码读取带BOM的文件时，Java会把这三个字节解析为单个Unicode字符U+FEFF（零宽无间断空格）。
2. String.getBytes()的默认编码随环境变化：
   • 在IntelliJ/SonarQube中，JVM默认编码通常是UTF-8：此时包含U+FEFF的字符串调用getBytes()会还原出EF BB BF字节数组，判断条件触发后substring(1)移除单个U+FEFF字符，结果正确。
   • 在Git Bash环境中，JVM默认编码可能是GBK（或其他多字节编码）：
     • 若读取文件时用GBK编码，EF BB BF三个字节会被错误解码为两个GBK字符（即你看到的╗┐）。
     • 此时调用getBytes()会将这两个乱码字符转成GBK字节数组，大概率不等于EF BB BF，导致判断条件不触发，substring(1)不会执行，乱码保留；若强行改成substring(3)，会误删正常字符，而IntelliJ中原本只有一个U+FEFF字符，删3个自然会丢失前两个正常字符。

正确的处理方式 #

方式一：在字节流阶段处理BOM（推荐） #

直接从文件字节流中检查并移除BOM，避免编码转换带来的问题：

import java.io.*;
import java.nio.charset.StandardCharsets;

public static String readFileWithoutBOM(String filePath) throws IOException {
    try (FileInputStream fis = new FileInputStream(filePath)) {
        byte[] bomBuffer = new byte[3];
        int readBytes = fis.read(bomBuffer);
        
        // 检查是否是UTF-8 BOM
        if (readBytes >= 3 && bomBuffer[0] == (byte) 0xEF 
            && bomBuffer[1] == (byte) 0xBB && bomBuffer[2] == (byte) 0xBF) {
            // 跳过BOM字节，无需回退
        } else if (readBytes > 0) {
            // 不是BOM，将已读字节放回输入流
            fis.reset();
        }

        // 用UTF-8编码读取剩余内容
        try (BufferedReader reader = new BufferedReader(
                new InputStreamReader(fis, StandardCharsets.UTF_8))) {
            StringBuilder content = new StringBuilder();
            String line;
            while ((line = reader.readLine()) != null) {
                content.append(line).append(System.lineSeparator());
            }
            return content.toString().trim();
        }
    }
}

方式二：字符串层面检查Unicode BOM字符 #

如果已经得到字符串，直接检查第一个字符是否是U+FEFF：

public static String removeBOMIndicator(String line) {
    if (line == null || line.isEmpty()) {
        return line;
    }
    char firstChar = line.charAt(0);
    if (firstChar == '\uFEFF') {
        return line.substring(1);
    }
    return line;
}

这两种方式都不依赖默认编码，在任何环境下行为一致。

内容的提问来源于stack exchange，提问作者Joseph Budin