Java实现两个已排序超大文件ID匹配写入，求最低耗时优化方案

一、现有代码逻辑错误原因 #

两个文件均已按ID排序，但原有逻辑仅在匹配失败时移动文件A的指针，完全未处理文件B的指针移动：

• 若当前B的ID小于A的ID，说明B当前ID不可能在A后续更大的ID中匹配到，必须移动B指针，原有逻辑会直接漏过该B的ID，导致匹配结果缺失
• 匹配成功后仅移动A指针，当A中对应ID的所有记录遍历完成后，也需要移动B指针到下一个ID，否则会出现无效匹配

二、核心逻辑修复（双指针线性遍历） #

基于两个文件ID有序的特性，双指针遍历的时间复杂度为O(n+m)，是理论最优的实现，核心逻辑如下：

private static void readAndWriteFile() {
    System.out.println("Read Write File Started.");
    long time = System.currentTimeMillis();
    // 手动指定32M缓冲区，远大于默认的8K，大幅降低IO次数
    try (
            BufferedReader in = new BufferedReader(new FileReader(Commons.ROOT_PATH + "input.txt"), 32 * 1024 * 1024);
            BufferedReader search = new BufferedReader(new FileReader(Commons.ROOT_PATH + "search.txt"), 32 * 1024 * 1024);
            BufferedWriter myWriter = new BufferedWriter(new FileWriter(Commons.ROOT_PATH + "output.txt"), 32 * 1024 * 1024);
    ) {
        String aLine = in.readLine();
        String bLine = search.readLine();
        while (aLine != null && bLine != null) {
            // 每个行仅截取一次ID，复用结果减少重复计算
            String aId = aLine.substring(0, 10);
            String bId = bLine.substring(0, 10);
            int cmp = aId.compareToIgnoreCase(bId);
            if (cmp == 0) {
                // 匹配成功，执行自定义更新逻辑后写入
                String updatedLine = updateRecord(aLine);
                myWriter.write(updatedLine);
                myWriter.newLine();
                // A同一ID可能有多条记录，先移动A指针
                aLine = in.readLine();
            } else if (cmp < 0) {
                // A当前ID更小，移动A指针找更大ID
                aLine = in.readLine();
            } else {
                // B当前ID更小，移动B指针找更大ID
                bLine = search.readLine();
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
    System.out.println("Read and Write to File done in - " + (System.currentTimeMillis() - time));
}

// 自定义记录更新逻辑，自行实现
private static String updateRecord(String originLine) {
    // 你的更新规则
    return originLine;
}

三、性能优化进阶建议 #

• IO优化：
  • 关闭不必要的匹配日志打印，生产环境频繁System.out.println会拖慢50%以上的处理速度，如需进度监控可每10万条记录打印一次
  • 因行长度固定，可改用NIO FileChannel按块读取字节，直接解析ID和行内容，避免BufferedReader的字符编码、换行符判断开销，性能可提升30%~50%
  • 输出时直接写入字节数组，避免字符编码转换开销
• 计算优化：
  • 若ID为纯数字格式，直接将ID转为long类型比较，比字符串compareToIgnoreCase效率高2倍以上
  • 更新记录时避免频繁字符串拼接，使用StringBuilder操作
• 内存优化：
  • 不要将整个B文件的ID加载到内存（如用HashSet存储），双指针法仅需存储当前两条记录，内存占用可忽略，完全不会出现GC问题

内容的提问来源于stack exchange，提问作者Santosh