行序不固定的两个文件，如何高效逐行比较？

针对你这种两行无序、每行唯一的大文件对比需求，以下是几种远快于逐行查找的高效方案：

方案一：哈希集合（Hash Set）快速查找 #

把其中一个文件的所有行一次性加载到内存的哈希集合中（比如Java的HashSet<String>），之后遍历另一个文件的每一行，直接通过集合的contains()方法判断是否存在。哈希集合的查找时间复杂度是O(1)，整体操作时间复杂度为O(n)，相比你之前的O(n²)会快几个数量级。

示例代码（Java）：

import java.io.BufferedReader;
import java.io.FileReader;
import java.util.HashSet;
import java.util.Set;

public class FileCompare {
    public static void main(String[] args) throws Exception {
        Set<String> file1Lines = new HashSet<>();
        // 加载第一个文件到集合
        try (BufferedReader br = new BufferedReader(new FileReader("file1.txt"))) {
            String line;
            while ((line = br.readLine()) != null) {
                file1Lines.add(line.trim()); // 统一处理换行/空格，避免匹配失败
            }
        }

        // 遍历第二个文件对比
        try (BufferedReader br = new BufferedReader(new FileReader("file2.txt"))) {
            String line;
            while ((line = br.readLine()) != null) {
                String trimmedLine = line.trim();
                if (file1Lines.contains(trimmedLine)) {
                    System.out.println("文件1和文件2共有的行：" + trimmedLine);
                    file1Lines.remove(trimmedLine); // 移除已匹配行，最后剩下的就是文件1独有的
                } else {
                    System.out.println("文件2独有的行：" + trimmedLine);
                }
            }
        }

        // 输出文件1独有的行
        System.out.println("文件1独有的行：");
        file1Lines.forEach(System.out::println);
    }
}

注：如果单个文件超过内存上限，可以用分段哈希，比如按行的哈希值分段处理，或者改用磁盘-based的哈希实现。

方案二：排序后双指针逐行对比 #

如果内存不足以加载整个文件到集合，可以先分别对两个文件的内容排序（使用外部排序工具，比如Linux的sort命令，或者Java的外部排序实现），之后用两个指针分别遍历两个排序后的文件，逐行对比：

• 若两行内容相同，则同时移动两个指针；
• 若文件A的行小于文件B的行（按字符串排序规则），则文件A的行是独有，移动A的指针；
• 反之则移动B的指针。

这种方法的时间复杂度主要由排序的O(n log n)决定，适合超大型文件的对比场景。

方案三：利用数据库临时表对比 #

将两个文件的内容分别导入数据库的临时表（比如MySQL、SQLite），并给存储行内容的字段建立索引，之后用SQL语句快速查询交集、差集：

• 查询两个文件的共有行：SELECT row_content FROM table1 WHERE row_content IN (SELECT row_content FROM table2)
• 查询文件1独有的行：SELECT row_content FROM table1 WHERE NOT EXISTS (SELECT 1 FROM table2 WHERE table2.row_content = table1.row_content)
• 查询文件2独有的行：SELECT row_content FROM table2 WHERE NOT EXISTS (SELECT 1 FROM table1 WHERE table1.row_content = table2.row_content)

数据库的索引优化会让这类查询效率极高，尤其是对于有结构化特征的DB记录（比如可以拆分字段建立联合索引，进一步加速）。

内容的提问来源于stack exchange，提问作者Andres Acosta