跨多台服务器删除重复文件

嗨，针对你在学术环境里三台Linux服务器的重复文件清理需求，我整理了几个经过实践验证的工具和操作思路，完美匹配你“安全删除重复文件并替换为符号链接”的要求：

推荐工具及操作方法 #

1. rdfind（最适合新手，自带符号链接生成功能） #

这是一款专门查找重复文件的工具，支持跨目录甚至跨挂载的远程文件系统操作，而且直接提供生成符号链接的选项，非常省心。

• 先确保所有服务器的目标目录都挂载到同一台操作机器上（比如用NFS或者SSHFS，优先选NFS，稳定性更好）
• 先做干运行确认要处理的文件，避免误删：
  rdfind -dryrun true /mnt/server1_data /mnt/server2_data /mnt/server3_data
• 确认无误后，执行实际操作（删除重复文件并替换为指向原文件的符号链接）：
  rdfind -makesymlinks true -makeresultsfile false /mnt/server1_data /mnt/server2_data /mnt/server3_data
  解释：-makesymlinks true 就是生成符号链接，-makeresultsfile false 可以避免生成多余的结果文件。

2. fdupes（轻量灵活，适合自定义脚本） #

fdupes是老牌的重复文件查找工具，虽然没有直接生成符号链接的选项，但可以结合简单脚本实现需求，灵活性更高。

• 同样先挂载所有远程目录，然后列出所有重复文件：
  fdupes -r -s /mnt/server1_data /mnt/server2_data /mnt/server3_data
  解释：-r 递归查找子目录，-s 显示文件大小方便核对
• 如果你想自动替换重复文件为符号链接，可以写个简单的shell脚本遍历fdupes的输出，保留每个重复组里的第一个文件，其余替换为symlink。这里要注意一定要先测试脚本的逻辑，避免误删。

3. duperemove（适合大文件场景，效率更高） #

如果服务器上有大量大文件（比如学术数据集），duperemove的性能会更出色，它支持批量处理，也可以生成符号链接。

• 干运行命令：
  duperemove -r -d --dry-run --symlink /mnt/server1_data /mnt/server2_data /mnt/server3_data
• 实际执行命令：
  duperemove -r -d --symlink /mnt/server1_data /mnt/server2_data /mnt/server3_data

关键注意事项（学术环境必看） #

• 先备份！ 学术数据至关重要，建议先给所有要处理的目录做快照或者全量备份，避免操作失误导致数据丢失。
• 权限检查：确保原文件的权限允许所有需要访问的用户读取，不然生成的符号链接可能会让用户无法打开文件。
• 提前通知用户：因为是多用户环境，最好提前发通知让大家保存好正在编辑的文件，避免操作过程中文件被修改导致异常。
• 优先处理非活跃目录：可以先从用户较少、文件更新不频繁的目录入手，积累经验后再处理核心数据目录。

备注：内容来源于stack exchange，提问作者TRP