实现wc克隆工具时字符计数与wc结果不符的问题及疑问

问题背景 #

我正在完成John Crickett编码挑战的第一个练习：实现一个wc克隆工具，用于统计文本文件的行数、字节数、单词数和字符数，目前卡在字符计数步骤。

我的代码如下：

public static long countChars(File inputFile) {
    long count = 0;

    try (BufferedReader reader = new BufferedReader(new FileReader(inputFile))) {
        String line;
        while ((line = reader.readLine()) != null) {
            line = line.replaceAll("\\uFEFF", ""); // Remove BOM
            count += line.length();
        }
    } catch (IOException e) {
        e.printStackTrace();
    }

    return count;
}

核心问题 #

wc返回的字符数是339292，但我的代码返回325001，两者差值正好是行数×2 +1。我有三个疑问：

• 为什么每行对应两个换行符而非一个？每行末尾不该只有一个换行符吗？
• 额外的单个字符是什么？
• 直接把行数×2+1加到字符计数里可行吗？会不会在边缘情况失效？

奇怪现象 #

统计theArtOfWar.txt首行字符数时，不移除BOM代码返回46，移除后返回45，和wc结果一致；但把首行单独保存到theArtOfWarFirstLine.txt后，无论是否移除BOM，代码和wc都返回45，仿佛单独提取首行时BOM自动被移除了。

另外，十六进制dump显示原文件开头有额外内容，怀疑是BOM，但不知道怎么手动插入BOM测试wc是否忽略它。

问题分析与解答 #

关于换行符的差异 #

你的文件用的是Windows风格的换行符\r\n（由回车\r和换行\n两个字符组成），而BufferedReader.readLine()读取时会自动丢弃每行末尾的换行符（不管是\n还是\r\n），所以每一行你都少统计了2个字符。这不是每行有两个换行符，而是单个换行操作由两个字符构成。

额外单个字符的来源 #

额外的1个字符是文件开头的UTF-8 BOM（U+FEFF）。GNU wc在统计字符数时会自动忽略UTF-8的BOM（因为UTF-8规范中BOM不是必需的），而你的代码虽然移除了BOM，但没有统计换行符，最终导致差值正好是行数×2 +1（2×行数是所有\r\n的字符数，+1是被wc忽略的BOM字符）。

直接追加行数×2+1的可行性 #

这种方法完全不可行，会在多种边缘情况失效：

• 如果文件用Unix/Linux风格的换行符\n（单个字符），应该追加的是换行符数量（通常是行数或行数-1），而非×2。
• 如果文件混合了不同风格的换行符，统计结果会彻底错误。
• 如果文件最后一行没有换行符，换行符数量是行数-1，此时×2会多算2个字符。
• 不是所有文件都带BOM，强制+1会给无BOM的文件多统计一个字符。

首行单独保存后BOM消失的原因 #

当你把首行单独保存到新文件时，大多数文本编辑器会自动剔除UTF-8的BOM（因为UTF-8不需要BOM，主流编辑器默认保存时不添加），所以新文件里根本没有BOM，无论代码是否处理，结果都会和wc一致。

手动插入BOM的测试方法 #

要给文件添加UTF-8 BOM，你可以用以下方法：

• 十六进制编辑器：在文件开头插入三个字节EF BB BF（UTF-8 BOM的十六进制表示）。
• Linux/macOS命令行：执行printf '\xef\xbb\xbf' > test.txt && cat your-file.txt >> test.txt，生成的test.txt开头就带有BOM。
• Windows记事本：保存文件时选择“UTF-8”编码（不要选“UTF-8无BOM”），记事本会自动添加BOM。

正确的字符计数实现 #

要和wc的结果一致，应该逐个读取所有字符（包括换行符），并正确跳过UTF-8 BOM，代码示例：

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.nio.charset.StandardCharsets;

public class WcClone {
    public static long countChars(File inputFile) {
        long count = 0;
        boolean bomSkipped = false;

        try (FileInputStream fis = new FileInputStream(inputFile);
             InputStreamReader reader = new InputStreamReader(fis, StandardCharsets.UTF_8)) {

            int c;
            while ((c = reader.read()) != -1) {
                // 仅跳过一次UTF-8 BOM
                if (!bomSkipped && c == '\uFEFF') {
                    bomSkipped = true;
                    continue;
                }
                count++;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }

        return count;
    }
}

内容的提问来源于stack exchange，提问作者Mick McCarthy