Linux下用户态应用直接对NVMe盘执行RDMA的实现方案问询

完全可以实现你需求的用户态NVMe文件跨节点直传，核心思路是结合用户态NVMe访问框架与用户态RDMA库，全程绕过内核和主机RAM拷贝，具体方案如下：

核心技术组合 #

• SPDK（Storage Performance Development Kit）：提供用户态直接访问NVMe设备的能力，绕过内核块栈，直接通过PCIe DMA将NVMe数据映射到用户态内存区域。
• libibverbs：InfiniBand的用户态RDMA编程库，支持将用户态内存区域注册为RDMA可访问的内存区域（MR），实现跨节点的直接数据传输。

具体实现步骤 #

1. 用户态NVMe设备初始化与文件管理

   • 使用SPDK初始化本地NVMe设备，通过spdk_nvme_probe等API直接获取设备控制权，无需内核驱动介入。
   • 基于SPDK的blobstore模块或用户态文件系统（如SPDK FS）实现文件级操作，替代传统的内核文件系统，这样你可以在用户态直接创建、读取、写入NVMe上的文件。
   • 关键：SPDK分配的缓冲区是直接映射到NVMe的DMA地址空间，数据无需拷贝到主机RAM。

2. RDMA内存区域注册

   • 将SPDK分配的NVMe用户态缓冲区，通过ibv_reg_mr API注册为RDMA内存区域（MR），标记为可远程读写。
   • 注册时指定IBV_ACCESS_LOCAL_WRITE | IBV_ACCESS_REMOTE_WRITE | IBV_ACCESS_REMOTE_READ权限，确保远端节点的RDMA操作可直接访问该缓冲区。

3. 跨节点RDMA文件传输

   • 远端节点同样通过SPDK初始化NVMe设备并注册对应内存区域，交换双方的RDMA MR信息（LKey、RKey、内存地址、队列对QP等）。
   • 使用ibv_post_send发起RDMA写操作，直接将本地NVMe用户态缓冲区的数据写入远端节点的NVMe用户态缓冲区；或用ibv_post_recv配合RDMA读操作实现反向传输。
   • 全程数据路径：本地NVMe → 用户态DMA缓冲区 → InfiniBand网卡 → 远端InfiniBand网卡 → 远端用户态DMA缓冲区 → 远端NVMe，完全跳过主机RAM的拷贝步骤。

关键优势与注意事项 #

• 无需root权限：SPDK初始化时虽需访问PCI设备或/dev/uio，但可通过配置udev规则将对应设备的访问权限开放给普通用户，后续应用运行无需root。
• 文件级操作支持：通过SPDK的文件抽象层，可实现类似标准POSIX API的文件操作逻辑，适配你的应用现有文件交互流程。
• 性能最大化：完全绕开内核栈与RAM拷贝，理论吞吐量可接近NVMe设备和InfiniBand链路的硬件上限，非常适合HPC场景的大带宽需求。

内容的提问来源于stack exchange，提问作者Caian