你观察得非常准确——rsync确实是针对单个文件做块级差异校验的，完全不会考虑其他已传输文件的内容，所以默认情况下没法跨文件复用已传输的块来节省带宽。针对你这种大量相似文件、超大规模数据传输的场景，我有几个实用的方案可以推荐：

一、使用支持跨文件块级重复数据删除的传输/同步工具 #

这类工具会对所有文件的块进行哈希计算，不管属于哪个文件，只要块内容相同就会复用，从根本上解决跨文件的重复数据传输问题。最常用的是以下两个：

1. BorgBackup #

虽然它主打备份功能，但非常适合你的场景：

• 源端创建备份仓库时，自动对所有文件做块级去重（哪怕是不同文件里的相同块）
• 只需要传输仓库中新增/变化的块到目标端，带宽利用率极高
• 操作步骤示例：

  # 源端初始化仓库（第一次运行）
  borg init --encryption=none /path/to/local_borg_repo
  # 源端创建包含所有目标文件的归档（自动去重）
  borg create --stats /path/to/local_borg_repo::transfer_archive /path/to/source_files
  # 用rsync把仓库同步到目标服务器（此时传输的只有去重后的唯一块）
  rsync -avz --delete /path/to/local_borg_repo/ target_server:/path/to/remote_borg_repo/
  # 目标端从归档提取文件到目标路径
  borg extract target_server:/path/to/remote_borg_repo::transfer_archive
  

  优点：自动跨文件去重，无需手动管理；支持增量更新，后续同步只需传变化的块。
  缺点：需要额外维护备份仓库，多了归档/提取的步骤。

2. Restic #

和BorgBackup原理类似，也是块级去重的备份工具，用法更简洁，对内存的要求更低：

# 源端初始化仓库
restic init --repo /path/to/local_restic_repo
# 备份源文件（自动去重）
restic backup --repo /path/to/local_restic_repo /path/to/source_files
# 同步仓库到目标服务器
rsync -avz --delete /path/to/local_restic_repo/ target_server:/path/to/remote_restic_repo/
# 目标端恢复文件
restic restore --repo target_server:/path/to/remote_restic_repo latest --target /path/to/destination

二、用rsync的--fuzzy选项实现有限相似文件优化 #

如果你的相似文件是“同一份文件的不同版本”（比如大文件的修订版），rsync的--fuzzy选项可以帮上忙：

• 它会在目标端寻找和源文件名称/大小相似的文件作为“基础文件”，只传输两者的差异块
• 命令示例：

  rsync --fuzzy -avz /path/to/source/ target_server:/path/to/destination/
  

  注意：这个方案是单文件对单文件的相似匹配，不是跨所有已传输文件的块缓存，所以如果你的相似文件是完全不同名称但内容有重复块的，效果会很有限，但聊胜于无。

三、文件系统级去重+rsync辅助 #

如果源和目标服务器都使用支持块级去重的文件系统（比如ZFS、Btrfs），可以先在源端启用去重功能：

• ZFS：创建存储池时开启dedup=on（注意：ZFS去重对内存要求极高，建议内存至少是已存储数据量的10%）
• Btrfs：挂载时添加compress=zstd,dedup参数
  启用后，文件系统会自动合并相同的块，此时再用rsync传输，实际传输的数据量会大幅减少。不过这个是文件系统层面的优化，不是传输过程中的块复用，更适合长期存储+定期同步的场景。

备注：内容来源于stack exchange，提问作者uli42