Solaris 11.2下使用dd直接读写裸磁盘速度缓慢的原因咨询

你好呀！我来帮你拆解下这个裸盘dd速度上不去的问题~ 先理清楚你的测试场景：你在空闲的Solaris 11.2机器上，把磁盘做成单盘ZFS池后，往池里的文件写能跑到标称的250MB/s（还是用iostat验证过的，这点很严谨👍），但直接用dd写裸磁盘设备，不管用系统自带还是第三方的GNU dd，加了各种nocache参数，速度却只有80MB/s左右，确实有点奇怪。

我帮你分析几个可能的原因，你可以对照排查：

1. I/O调度策略的核心差异 #

Solaris的I/O子系统对裸设备和文件系统的调度逻辑完全不一样。ZFS本身是个“聪明”的文件系统，它会主动合并小I/O请求、用异步I/O队列批量处理，还会根据磁盘的物理特性（比如扇区大小、转速）调整请求的最优大小，和Solaris的存储栈整合得非常深。

但直接写裸盘的时候，dd发出的I/O请求可能直接绕过了这些优化层——系统对裸设备的默认调度策略更保守，比如默认用了适合随机I/O的调度模式，而没有针对连续大I/O做合并优化，导致磁盘的带宽没被充分利用。

2. 裸盘设备节点与分区的小细节 #

你用的是/dev/rdsk/c4t3d0p0，这个节点代表整个磁盘的分区（p0是Solaris里的“整个磁盘”分区标识），不过有时候直接用不带p0的/dev/rdsk/c4t3d0裸设备，系统的I/O处理路径会稍有不同，可以试试换这个节点测测看。

另外，虽然ZFS用这个磁盘没问题，但也要确认下磁盘上有没有残留的旧磁盘标签（比如VTOC/EFI），或者有没有其他进程偷偷占用这个磁盘的I/O——不过如果是后者，iostat应该能看出磁盘繁忙度异常，你可以用iostat -xnP 1盯着看。

3. dd参数的实际作用与Solaris的兼容性 #

你加了oflag=nocache，这个确实能绕开文件系统缓存，但Solaris对裸设备的“缓存”逻辑和文件系统完全不同，这个参数可能并没有完全发挥你预期的作用。另外iflag=fullblock是针对读取端的优化（保证读满整个块），但你是从/dev/zero读，这个参数对你的写性能其实没什么影响。

还有，你试了多个版本的dd都一样，说明不是dd本身的问题，问题肯定出在系统的I/O栈里。

4. 存储硬件的优化策略差异 #

有些HBA卡或者磁盘控制器在Solaris下，会针对文件系统I/O自动开启优化（比如NCQ队列深度调整、控制器缓存），但对裸设备I/O默认关闭这些优化。你可以对比ZFS写和裸盘写时的iostat -en输出：

• 如果ZFS写的时候wkB/s高但w/s（每秒请求数）低，说明请求被合并成了大请求
• 裸盘写的时候如果w/s很高但wkB/s上不去，那就是系统没合并请求，磁盘一直在处理小I/O，自然跑不满带宽

5. Solaris 11.2的已知bug（没更新的锅） #

你说系统没更过补丁，Solaris 11.2本身确实有几个关于裸设备I/O的bug：比如在特定块大小下，裸设备I/O路径会有额外的内存拷贝或者锁竞争，导致性能瓶颈。不过你说不能改系统，这个只能作为背景参考了。

排查小建议 #

• 试试调整bs大小：比如改成bs=4M或者bs=1M，不同块大小可能触发系统不同的I/O优化逻辑
• 用dtrace抓I/O请求：dtrace -n 'io:::start { printf("%d %s\n", args[0]->b_bcount, args[1]->dev_path); }'，看看dd发出的请求是不是真的是你设置的2M大小，有没有被系统拆分成小请求
• 检查磁盘的I/O调度器：Solaris里可以查看/kernel/drv/ssd.conf里的ssd_io_scheduler参数，如果是默认的fair，可以试试改成noop或者deadline（不过改这个需要重启磁盘驱动，你可能没法操作）

备注：内容来源于stack exchange，提问作者mkl