ZFS冗余副本处理机制及重复文件存储空间优化问题咨询

嘿，我来帮你拆解一下这个问题——核心原因其实很简单：ZFS默认是不开启重复数据删除（Deduplication）功能的！你以为相同校验和的文件会自动只存一份，但这个特性需要手动启用才行。

为什么你的测试没生效？ #

你创建的11个完全相同的文件，在默认配置下ZFS会把它们当成独立的文件存储，每个文件的块都会被单独写入磁盘，所以占用的空间接近11个文件的总和（你的计算结果和理论值略有差异，可能是ZFS的块大小对齐、元数据占用等因素导致的）。

如何让ZFS处理重复文件？ #

要开启重复数据删除，你需要在数据集（Dataset）层面配置这个属性（不推荐在整个存储池层面开启，因为会消耗大量内存）：

1. 先确认你的备份目录对应的数据集，比如你用的/poolname/zalohy，执行zfs list查看它是否是独立的数据集。
2. 开启dedup：

   zfs set dedup=on poolname/zalohy
   

3. 注意：开启dedup后，新写入的重复块才会被去重，已存在的文件需要重新写入（比如用cp重新复制一遍，或者通过zfs send/receive重新导入）才能触发去重。你可以用zpool get dedupratio poolname查看当前的去重比率，验证效果。

关于ZFS dedup的重要提醒 #

dedup功能对内存的消耗非常大，因为ZFS需要维护一个哈希表来存储所有块的校验和。如果你的存储池很大，或者有大量重复数据，内存不足会严重拖慢系统性能。如果你的服务器内存有限，这个方案可能不太适合。

替代方案（不需要依赖ZFS dedup） #

如果不想承担dedup的内存开销，还有更灵活的方式：

• 硬链接：对于同一文件系统下的重复文件，可以用ln命令创建硬链接，让多个文件名指向同一份数据，完全不额外占用空间。比如增量备份场景下，可以用rsync --link-dest参数，让新备份里的重复文件自动创建硬链接到旧备份的文件。
• 专用备份工具：比如BorgBackup、Rsnapshot这类工具，它们自带去重、压缩功能，不需要依赖文件系统特性，而且备份结构更灵活，还支持加密、版本管理等功能。

有没有更好的文件系统？ #

如果单纯看重复数据删除，Btrfs也支持dedup功能，内存消耗相对ZFS低一些，但Btrfs的稳定性和成熟度不如ZFS，尤其是在大规模存储场景下。如果你的核心需求是备份去重，其实用专用备份工具可能比换文件系统更靠谱。

备注：内容来源于stack exchange，提问作者xerostomus