PCIe4.0 X16平台MMIO访问BAR空间性能低下问题排查

针对Intel Xeon 6438Y+平台上PCIe4.0 x16 FPGA的MMIO读性能瓶颈（仅3.75GBps，远低于PCIe理论带宽），结合你已尝试的ioremap_wc、非临时指令等操作，给出以下优化方向：

1. 优化内存映射的TLB命中率 #

MMIO访问的TLB（Translation Lookaside Buffer）缺失会带来显著开销，尤其是连续大带宽访问场景：

• 使用超页映射：在mmap时添加MAP_HUGETLB | MAP_HUGE_2MB参数（需系统提前配置大页内存），将MMIO空间映射为2MB超页，减少TLB miss次数。
• 确保MMIO地址和目标内存（dst）都对齐到超页边界，避免跨页访问的额外开销。

2. 手动实现针对MMIO的非临时加载循环 #

系统默认的memcpy未针对MMIO的无缓存访问优化，手动使用vmovntdqa指令能充分利用PCIe突发传输特性：

#include <emmintrin.h>
#include <immintrin.h>

// 手动实现非临时加载的MMIO读函数
void mmio_read_nt(void* dst, const void* src, size_t size) {
    // 确保地址对齐到64字节（512位向量宽度）
    assert(reinterpret_cast<uintptr_t>(dst) % 64 == 0);
    assert(reinterpret_cast<uintptr_t>(src) % 64 == 0);
    assert(size % 64 == 0);

    __m512i* dst_vec = reinterpret_cast<__m512i*>(dst);
    const __m512i* src_vec = reinterpret_cast<const __m512i*>(src);
    size_t count = size / 64;

    // 循环加载，利用流水线并行
    for (size_t i = 0; i < count; ++i) {
        // 非临时加载，绕过CPU缓存，直接发起PCIe读请求
        dst_vec[i] = _mm512_stream_load_si512(&src_vec[i]);
    }
    // 内存屏障确保所有读请求完成
    _mm_sfence();
}

替换原代码中的memcpy调用，同时编译时需开启AVX-512优化（-mavx512f）。

3. 内核与硬件层面的配置优化 #

• PCIe参数调优：在FPGA配置中开启最大支持的PCIe突发长度（比如128字节或256字节），并确保主机端PCIe控制器的最大payload size设置为匹配值；禁用PCIe ASPM（Active State Power Management），避免链路进入低功耗状态影响带宽。
• UIO驱动优化：确保内核驱动中ioremap_wc映射的空间严格对应FPGA BAR的Write Combine属性，同时检查是否有额外的内存访问限制（比如DMA掩码配置，虽MMIO不依赖DMA，但错误配置可能间接影响）。

4. 处理器侧的性能隔离 #

• CPU核心绑定：将测试进程绑定到单个物理核心（避免线程迁移），且优先选择与FPGA所在PCIe链路直连的NUMA节点核心，减少跨节点访问延迟：

  taskset -c <core-id> ./iobench
  

• 禁用节能模式：关闭CPU的C-state和P-state节能选项，确保处理器维持最高主频运行；关闭超线程（HT），避免核心资源竞争。

5. 测试方法优化 #

• 增大测试数据块：将4MB改为64MB或更大，减少计时误差（小数据块的启动开销占比过高）。
• 多次测试取平均：执行10次以上测试，去掉最高和最低值后取平均，结果更具参考性。

内容的提问来源于stack exchange，提问作者John.James