没问题，我来给你详细拆解这个需求，分两部分讲清楚具体实现方法：

一、检查目录文件MD5哈希并对比目标哈希文件 #

要完成哈希检查和对比，你可以按以下步骤操作：

• 生成源目录的MD5哈希列表
  用find命令遍历源目录下所有文件，结合md5sum生成每个文件的哈希值和路径记录：

  find /path/to/your/source -type f -exec md5sum {} \; > source_hashes.txt
  

  这条命令会把源目录里所有文件的MD5值和绝对路径写入source_hashes.txt文件。如果想避免绝对路径的问题，也可以先进入源目录，用相对路径生成哈希：

  cd /path/to/your/source && find . -type f -exec md5sum {} \; > source_hashes.txt
  

• 获取目标目录的哈希记录文件
  假设你已经在目标目录维护了一个记录已复制文件哈希的文件（比如target_hashes.txt），它的格式要和源目录的哈希列表完全一致（每行是「哈希值 文件路径」）。

• 对比两个哈希列表
  用grep命令可以快速找出源目录中存在但目标哈希文件没有，或者哈希不匹配的文件：

  grep -vxFf target_hashes.txt source_hashes.txt
  

  解释一下参数：

  • -v：反向匹配，输出不匹配的行
  • -x：整行精确匹配，避免部分路径或哈希重合导致的误判
  • -F：把目标哈希文件的每行当作固定字符串处理
  • -f：指定从target_hashes.txt读取匹配模式
    执行后输出的内容就是需要同步的文件条目。

二、实现增量同步与哈希列表自动更新 #

根据你的需求，我写了一个可直接使用的Shell脚本，它会自动校验文件状态、同步未复制/更新的文件，并维护目标目录的哈希记录：

#!/bin/bash

# 配置你的路径
SOURCE_DIR="/path/to/your/source"
TARGET_DIR="/path/to/your/target"
HASH_FILE="${TARGET_DIR}/target_hashes.txt"

# 生成源目录的临时哈希列表（用相对路径保证兼容性）
TEMP_HASH_FILE=$(mktemp)
cd "$SOURCE_DIR" || exit 1
find . -type f -exec md5sum {} \; > "$TEMP_HASH_FILE"

# 如果哈希记录文件不存在，先创建空文件
if [ ! -f "$HASH_FILE" ]; then
    touch "$HASH_FILE"
fi

# 筛选出需要同步的文件（未记录或哈希不匹配）
NEED_SYNC_CONTENT=$(grep -vxFf "$HASH_FILE" "$TEMP_HASH_FILE")

if [ -n "$NEED_SYNC_CONTENT" ]; then
    echo "发现需要同步的文件："
    echo "$NEED_SYNC_CONTENT"
    
    # 遍历需要同步的条目，复制文件并更新哈希记录
    echo "$NEED_SYNC_CONTENT" | while read -r FILE_HASH FILE_PATH; do
        # 创建目标目录的子目录（避免复制失败）
        mkdir -p "$TARGET_DIR/$(dirname "$FILE_PATH")"
        # 复制文件到目标目录
        cp "$SOURCE_DIR/$FILE_PATH" "$TARGET_DIR/$FILE_PATH"
        # 将新的哈希记录追加到文件
        echo "$FILE_HASH $FILE_PATH" >> "$HASH_FILE"
    done
    
    echo "✅ 同步完成！已更新哈希记录文件。"
else
    echo "ℹ️ 所有文件已同步，无需操作。"
fi

# 清理临时文件
rm "$TEMP_HASH_FILE"

脚本关键说明 #

• 相对路径哈希：用相对路径生成哈希，避免源和目标目录绝对路径不同导致的对比错误
• 自动创建子目录：mkdir -p确保目标目录的子目录结构和源一致，防止复制失败
• 增量更新哈希：只同步需要更新的文件，并将新哈希追加到记录文件，保证效率

额外注意事项 #

• 如果处理大文件，md5sum速度较慢，可以换成更快的哈希算法（比如sha256sum），只需把脚本里的md5sum替换即可
• 定期整理哈希记录文件：用sort -u "$HASH_FILE" -o "$HASH_FILE"可以去除重复条目，保持文件整洁
• 确保脚本有足够的读写权限，避免无法访问源/目标目录或修改哈希文件

内容的提问来源于stack exchange，提问作者NewtoCoding