ZFS性能对比：控制器跨镜像对部署 vs 镜像对跨控制器部署

咱们先把场景理清楚：你有4块盘，做成2个ZFS镜像对，还有2个SATA控制器，每个最多带2块盘。之前你已经知道，把每个镜像对的两块盘分别放在不同控制器上，能提升系统的uptime——毕竟单个控制器挂了，另一个控制器上还留着每个镜像的一份数据，池子还能降级运行。现在你更关心性能，想知道两种部署方式哪个更快，对吧？

先明确下两种部署的具体形式：

• 控制器跨镜像对部署：每个镜像对的两块盘分别连在不同控制器上。比如镜像1的盘A在控制器1，盘B在控制器2；镜像2的盘C在控制器1，盘D在控制器2。
• 镜像对跨控制器部署：整个镜像对都放在同一个控制器上。比如镜像1的A、B全在控制器1，镜像2的C、D全在控制器2。

接下来咱们从读写性能分别分析：

写性能对比 #

ZFS镜像的写操作需要把同一份数据写入两块盘，这两种部署的差异很明显：

• 用「镜像对跨控制器部署」的话，每个镜像的写操作只会占用自己所在控制器的资源。两个镜像可以同时在各自的控制器上处理写请求，相当于两个控制器的带宽是并行利用的——比如每个控制器能提供6Gbps的SATA带宽，那总写带宽理论上能接近12Gbps（只要盘能跑满）。而且没有跨控制器的IO协调开销，写效率更高。
• 用「控制器跨镜像对部署」的话，每一次写操作都要同时给两个控制器发数据，相当于两个控制器都要处理同一个写请求的一部分。这不仅会让两个控制器的带宽被同一个写请求占用，还可能因为控制器之间的总线共享（比如如果两个控制器共用一条PCIe通道）或者ZFS的协调逻辑带来额外开销，导致总写吞吐量反而不如前者。

读性能对比 #

读操作的话，ZFS可以从镜像的任意一块盘读取数据，天然支持负载均衡：

• 用「控制器跨镜像对部署」的话，所有读请求可以分散到两个控制器上。比如读镜像1的时候，可以选控制器1的盘A，也可以选控制器2的盘B；读镜像2的时候同理。这样不管你的读请求集中在哪个镜像，两个控制器的带宽都能被充分利用，不会出现一个控制器忙死、另一个闲死的情况，读吞吐量上限更高。
• 用「镜像对跨控制器部署」的话，读镜像1只能用控制器1的带宽，读镜像2只能用控制器2的带宽。如果你的读请求大部分集中在其中一个镜像，那另一个控制器的资源就浪费了，读性能会被单个控制器的带宽限制住。

总结 #

• 如果你的工作负载是写密集型（比如经常大文件写入、数据库写操作多），选「镜像对跨控制器部署」（整个镜像放单个控制器），写性能会更优。
• 如果是读密集型（比如媒体服务器、文件共享读多写少），选「控制器跨镜像对部署」（镜像分跨两个控制器），读性能会更好。

备注：内容来源于stack exchange，提问作者mkk