Linux下仅基于文件名的海量目录单向同步优化方案咨询

针对你5000万文件的场景，原来的bash逐行循环确实会因为大量系统调用导致速度极慢，这里有两种高效的实现方案，都是基于批量处理而非逐文件判断：

方案一：用rsync快速定位缺失文件（推荐） #

rsync本身是高效的文件同步工具，我们可以利用它的--dry-run（模拟运行）模式，结合--ignore-existing参数，快速找出源目录存在但目标目录缺失的文件路径，然后批量处理：

# 用rsync模拟同步，仅输出目标缺失的文件相对路径
rsync -avn --ignore-existing --out-format="%P" "$SOURCE/" "$TARGET/" | grep -v '^$' | xargs -I {} sh -c '
    # 构建源文件和目标文件的完整路径
    src_file="$SOURCE/{}"
    dest_file="$TARGET/{}"
    # 自动创建目标目录（如果不存在）
    mkdir -p "$(dirname "$dest_file")"
    # 这里替换成你的文件处理逻辑，比如：
    # process_command "$src_file" > "$dest_file"
'

为什么这个方案快？ #

rsync是用C语言实现的，遍历目录的效率远高于bash脚本；--dry-run模式下只会做存在性检查（因为--ignore-existing跳过已存在的文件，所以只有目标缺失的文件会被列出），不会做内容/大小比对，完全符合你的需求。

方案二：用find+sort+comm生成缺失文件列表 #

如果你的环境没有rsync（虽然Linux几乎都自带），可以用基础工具组合来实现：

# 生成源目录所有文件的相对路径列表（排序后）
# 用进程替换避免写临时文件，节省磁盘IO
comm -23 \
    <(find "$SOURCE" -type f -printf "%P\n" | sort) \
    <(find "$TARGET" -type f -printf "%P\n" | sort) | xargs -I {} sh -c '
        src_file="$SOURCE/{}"
        dest_file="$TARGET/{}"
        mkdir -p "$(dirname "$dest_file")"
        # 替换成你的文件处理逻辑
        # process_command "$src_file" > "$dest_file"
    '

原理说明 #

1. find ... -printf "%P\n"：生成相对于源/目标目录的文件路径，保证两个列表的路径格式一致。
2. sort：对路径列表排序，为comm命令做准备。
3. comm -23：对比两个排序后的列表，只保留源目录有但目标目录没有的路径。
4. xargs：批量处理这些路径，避免bash逐行循环的低效。

针对特殊字符的优化（可选） #

如果你的文件路径包含空格、换行等特殊字符，需要用null分隔符来避免错误：

rsync版本： #

rsync -avn --ignore-existing --out-format="%P" "$SOURCE/" "$TARGET/" | grep -v '^$' | tr '\n' '\0' | xargs -0 -I {} sh -c '
    src_file="$SOURCE/{}"
    dest_file="$TARGET/{}"
    mkdir -p "$(dirname "$dest_file")"
    # 你的处理逻辑
'

find+comm版本： #

comm -23 \
    <(find "$SOURCE" -type f -print0 | sort -z) \
    <(find "$TARGET" -type f -print0 | sort -z) | xargs -0 -I {} sh -c '
        src_file="$SOURCE/{}"
        dest_file="$TARGET/{}"
        mkdir -p "$(dirname "$dest_file")"
        # 你的处理逻辑
    '

为什么原来的脚本慢？ #

你的原脚本用while read fname逐行处理，每个循环都要执行一次[ ! -e "$TARGET$fname" ]的系统调用——5000万次系统调用会带来巨大的IO开销和进程上下文切换成本，这是速度慢的核心原因。而上面的方案都是批量生成缺失列表，再批量处理，把系统调用次数降到最低，效率自然大幅提升。

内容的提问来源于stack exchange，提问作者masgo