如何基于MIME类型实现rsync条件文件同步过滤

rsync 本身没有原生的MIME类型识别过滤能力，它的默认过滤规则仅基于文件名、路径、文件属性等元数据匹配，不会读取文件内容判定真实类型，要实现按MIME精准过滤，可以用以下几种成熟方案：

方案1：原生工具组合（无额外依赖，兼容性最好） #

利用rsync的--files-from参数支持从外部文件读取待同步清单的特性，结合系统自带的file命令提前筛选符合MIME要求的文件：

• 第一步：在源端遍历所有文件，检测MIME类型并生成待同步清单
  示例命令（筛选MIME类型为image/png、application/pdf的文件，源目录为/data/src/）：

  find /data/src -type f -exec file --no-pad --mime-type {} + | awk -v allow_types="image/png application/pdf" '
  BEGIN { split(allow_types, allow, " ") }
  {
    for (i in allow) {
      if ($NF == allow[i]) {
        sub(/: [^:]+$/, "", $0)
        print
      }
    }
  }' > /tmp/rsync_sync_list.txt
  

  命令逻辑：find枚举所有普通文件，file读取文件头识别真实MIME类型，awk匹配你指定的允许类型列表，提取符合要求的文件路径存入临时清单。
• 第二步：调用rsync基于生成的清单执行同步

  rsync -av --files-from=/tmp/rsync_sync_list.txt / root@remote_host:/data/dst/
  

注意：如果是跨机器同步，MIME检测步骤必须在源端执行，保证识别的是源文件的真实类型；file命令仅读取文件头几KB内容做特征匹配，哪怕是TB级大文件也不会产生额外的大量IO开销。

方案2：rclone替代原生rsync（配置最简单） #

rclone 原生支持MIME类型过滤规则，同步逻辑和rsync类似，支持增量传输、断点续传，不需要自己写筛选脚本：

• 同步示例（仅同步所有图片、PDF文件）：

  rclone sync /data/src remote_host:/data/dst \
    --include-mime-type "image/*" \
    --include-mime-type "application/pdf"
  

优缺点：配置简单，支持通配符匹配MIME类型，除了本地同步还支持各类对象存储、网盘等目标；缺点是和原生rsync的部分高级参数（比如特殊场景下的ACL、硬链接兼容逻辑）存在差异，如果你的同步流程依赖rsync独有特性，需要提前做兼容性测试。

方案3：实时同步场景适配 #

如果需要做目录的实时同步，不想每次全量遍历文件生成清单，可以结合inotifywait监控源目录的文件变动：

• 监控到文件新增、修改事件时，单独检测该文件的MIME类型，符合规则就调用rsync同步单个文件即可，避免全量扫盘的开销，适合文件总量大、变动频繁的场景。

通用注意事项 #

• 加密、无文件头特征的特殊文件会被识别为application/octet-stream通用类型，这类文件需要单独加规则适配
• 如果源目录存在大量软链接，需要在find、rclone参数中明确指定是否跟随软链接检测，避免同步不符合预期的文件

内容的提问来源于stack exchange，提问作者ibi0tux