如何更优地检测两个目录间的文件差异？

我编写了几个C#函数，用于粗略检测两个目录间的文件差异，功能类似KDiff3。现有实现及问题如下：

现有实现 #

1. 检测文件名差异（dir1中新增的文件） #

public static List<string> diffFileNamesInDirs(string dir1, string dir2)
{
    List<string> dir1FileNames = Directory
       .EnumerateFiles(dir1, "*", SearchOption.AllDirectories)
       .Select(Path.GetFullPath)
       .Select(entry => entry.Replace(dir1 + "\\", ""))
       .ToList();
    List<string> dir2FileNames = Directory
        .EnumerateFiles(dir2, "*", SearchOption.AllDirectories)
        .Select(Path.GetFullPath)
        .Select(entry => entry.Replace(dir2 + "\\", ""))
        .ToList();
    List<string> diffs = dir1FileNames.Except(dir2FileNames).Distinct().ToList();

    return diffs;
}

2. 检测同名文件大小差异（判断文件是否编辑） #

public static List<string> diffFileSizesInDirs(string dir1, string dir2)
{
    // 获取相对于基准目录的文件路径列表
    List<string> dir1FileNames = Directory
       .EnumerateFiles(dir1, "*", SearchOption.AllDirectories)
       .Select(Path.GetFullPath)
       .Select(entry => entry.Replace(dir1 + "\\", ""))
       .ToList();
    List<string> dir2FileNames = Directory
        .EnumerateFiles(dir2, "*", SearchOption.AllDirectories)
        .Select(Path.GetFullPath)
        .Select(entry => entry.Replace(dir2 + "\\", ""))
        .ToList();
    List<string> sharedFileNames = dir1FileNames.Intersect(dir2FileNames).Distinct().ToList();

    // 获取对应文件路径的文件大小列表
    List<long> dir1FileSizes = sharedFileNames
        .Select(s => 
        new FileInfo(dir1 + "\\" + s) // 构造FileInfo所需的完整文件路径
        .Length).ToList();
    List<long> dir2FileSizes = sharedFileNames
        .Select(s =>
        new FileInfo(dir2 + "\\" + s) // 构造FileInfo所需的完整文件路径
        .Length).ToList();

    List<string> changedFiles = new List<string>();
    for (int i = 0; i < sharedFileNames.Count; i++)
    {
        // 如果文件大小不同，说明其中一个文件被修改过
        if (dir1FileSizes[i] != dir2FileSizes[i])
        {
            changedFiles.Add(sharedFileNames[i]);
        }
    }

    return changedFiles;
}

3. 合并结果 #

List<string> nameDiffs = FileIO.diffFileNamesInDirs(dir1, dir2);
List<string> sizeDiffs = FileIO.diffFileSizesInDirs(dir1, dir2);
List<string> allDiffs = nameDiffs.Concat(sizeDiffs).ToList();

现有问题 #

这种方法虽能正常工作，但存在以下不足：

• 路径处理依赖字符串替换，容易因路径分隔符（如/和\）、大小写差异出现错误
• 仅通过文件大小判断修改，无法检测内容修改但大小不变的文件（比如修改文本文件的空格、换行，或二进制文件的某些不改变长度的字节）
• 仅检测dir1的新增文件，未覆盖dir2的缺失文件场景
• 使用List的Except/Intersect操作，性能随文件数量增加下降明显

优化实现方案 #

核心优化思路 #

1. 可靠的路径处理：使用Path.GetRelativePath替代字符串替换，适配不同系统的路径规则
2. 分层差异检测：先对比文件名，再对比文件大小，最后对大小相同的文件计算哈希值确保内容一致
3. 分类返回结果：明确区分新增、删除、修改三类差异
4. 性能优化：用Dictionary存储文件信息，提升查找效率；可并行计算哈希值加快处理速度

优化后的代码示例 #

辅助方法：获取文件信息字典（路径、大小、哈希）

using System.Security.Cryptography;

private static Dictionary<string, (long Size, string Hash)> GetFileInfoDictionary(string directory)
{
    var fileDict = new Dictionary<string, (long, string)>();
    foreach (var filePath in Directory.EnumerateFiles(directory, "*", SearchOption.AllDirectories))
    {
        // 获取相对于基准目录的路径
        var relativePath = Path.GetRelativePath(directory, filePath);
        var fileInfo = new FileInfo(filePath);
        
        // 计算文件哈希值（这里用SHA256，也可替换为CRC32提升速度）
        var hash = ComputeFileHash(filePath);
        
        fileDict[relativePath] = (fileInfo.Length, hash);
    }
    return fileDict;
}

private static string ComputeFileHash(string filePath)
{
    using var sha256 = SHA256.Create();
    using var stream = File.OpenRead(filePath);
    var hashBytes = sha256.ComputeHash(stream);
    // 转换为十六进制字符串
    return BitConverter.ToString(hashBytes).Replace("-", "").ToLowerInvariant();
}

主差异检测方法

public static (List<string> Added, List<string> Removed, List<string> Modified) CompareDirectories(string dir1, string dir2)
{
    var dir1Files = GetFileInfoDictionary(dir1);
    var dir2Files = GetFileInfoDictionary(dir2);

    // dir1有但dir2没有的文件（新增）
    var added = dir1Files.Keys.Except(dir2Files.Keys).ToList();
    // dir2有但dir1没有的文件（删除）
    var removed = dir2Files.Keys.Except(dir1Files.Keys).ToList();
    
    // 内容修改的文件
    var modified = new List<string>();
    foreach (var sharedPath in dir1Files.Keys.Intersect(dir2Files.Keys))
    {
        var (size1, hash1) = dir1Files[sharedPath];
        var (size2, hash2) = dir2Files[sharedPath];
        
        // 大小不同 或 哈希值不同，判定为修改
        if (size1 != size2 || !hash1.Equals(hash2, StringComparison.OrdinalIgnoreCase))
        {
            modified.Add(sharedPath);
        }
    }

    return (added, removed, modified);
}

额外优化建议 #

• 并行计算哈希：对大量文件，可使用Parallel.ForEach替代普通foreach，提升哈希计算速度
• 异常处理：添加try-catch块处理文件访问权限、文件被占用等异常，可选择跳过异常文件或记录日志
• 哈希算法选择：如果追求速度，可替换为CRC32算法；如果需要更高安全性，保留SHA256或使用SHA512
• 路径大小写处理：Windows系统路径不区分大小写，比较时可使用StringComparison.OrdinalIgnoreCase避免误判

内容的提问来源于stack exchange，提问作者jrbe228