Linux系统下SCSI多路径工作机制及SAS链路吞吐量优化配置问询

DevOps 小满

2026-4-21

嘿，咱们一步步拆解你的问题，帮你理清SAS链路带宽利用和多路径配置的关键点：

首先得澄清一个容易混淆的概念：SFF-8644接口本身是4条12Gbps SAS lanes组成的宽端口（SAS Wide Port），这和咱们常说的“多路径”不是一回事儿：

链路层带宽聚合：你的Linux HBA驱动（比如常见的mpt3sas、megaraid_sas）默认就会把这4条lanes聚合成一个逻辑通道。当传输大尺寸IO（比如64K以上的顺序读写）时，驱动会自动把数据拆分到多条lanes上并行传输，这时候理论上能接近48Gbps的总带宽——这个过程是驱动自动完成的，不需要额外配置。
IO请求级别的轮询负载：如果你的业务以小随机IO为主，链路层的聚合可能没法充分利用所有lanes的带宽（因为单个小IO只会占用一条lane）。这种情况下，部分HBA驱动支持通过调整参数来开启lanes之间的轮询调度，但这不是Linux通用SCSI驱动的默认行为，需要你去查对应HBA的官方文档（比如Supermicro的HBA配置手册），看是否有相关的驱动参数可以调整。

这里要明确：Linux原生的SCSI核心驱动不会主动做请求级别的轮询，这个逻辑要么在HBA驱动层面实现，要么在多路径工具层面实现——但单SFF-8644链路下，DM Multipath（Linux多路径工具）不会识别为多条独立路径，因为所有lanes都属于同一个物理链路。

当你添加第二条SFF-8644链路后，HBA会识别到两条独立的逻辑路径连接到JBOD，这时候就需要通过DM Multipath来实现请求级别的round-robin负载均衡，才能充分利用两条链路的总带宽：

基础准备：确保你的JBOD支持多路径连接（现代JBOD基本都支持），同时HBA的BIOS/固件已经启用了多路径相关选项（比如禁用路径独占模式）。
配置DM Multipath：
- 安装multipath-tools包（不同发行版命令略有不同，比如Debian/Ubuntu用apt install multipath-tools，RHEL/CentOS用yum install device-mapper-multipath）。
- 编辑/etc/multipath.conf配置文件，设置round-robin的负载均衡策略，示例配置如下：
```
defaults {
    user_friendly_names yes
    path_grouping_policy multibus
    failback immediate
    path_selector "round-robin 0"  # 启用轮询调度
    rr_weight uniform              # 每条路径权重相同
    rr_min_io 1                    # 每个IO就切换路径（适合小IO场景，大IO可以调大数值）
}
```
- 启动并启用multipathd服务：systemctl start multipathd + systemctl enable multipathd。
验证配置：执行multipath -ll命令，应该能看到两条路径被聚合到同一个多路径设备下，并且负载策略显示为round-robin。

测试吞吐量时，推荐用fio工具，搭配合适的参数（比如bs=64k、rw=write、ioengine=libaio）来模拟大流量场景，才能验证带宽是否达到预期。
如果你的HBA有厂商专属的多路径管理工具（比如Supermicro的某些工具），也可以使用，但Linux原生的DM Multipath兼容性和通用性更好，更推荐。

备注：内容来源于stack exchange，提问作者Nortrum