如何检查PCIe内存映射BAR区域的可缓存/不可缓存属性

一、先澄清：MMIO并非“始终不可缓存” #

首先纠正你看到的结论：MMIO内存区域不是必然不可缓存，其缓存属性由PCIe配置空间和主机内存映射策略共同决定，核心逻辑分两类：

• 对于PCIe端点设备（比如你的FPGA），BAR的缓存属性由设备PCIe配置空间中Memory Base/Limit寄存器的Type字段（Bit 1-0）控制：
  • 00b：普通可缓存内存（支持Write-Back/Write-Through）
  • 01b：不可缓存内存
  • 10b：可预取内存（通常对应可缓存，且支持主机预取优化）
• 对于Intel x86主机，即使设备端配置了可缓存BAR，主机OS还会通过**MTRR（内存类型范围寄存器）或PAT（页属性表）**最终决定该区域的实际缓存行为。

二、检查BAR缓存属性的方法 #

1. 设备端（Xilinx FPGA）验证 #

• 查看Vivado PCIe IP配置：打开PCIe IP核的配置界面，找到BAR设置模块，每个BAR的Type选项会明确显示是Prefetchable Memory、Non-Prefetchable Memory还是IO空间，对应可缓存/不可缓存属性。
• 主机侧读取PCIe配置：用lspci工具直接查看设备BAR信息，命令如下：

  lspci -v -s <设备BDF地址>
  

  输出示例中会标注BAR类型，比如Memory at ... (64-bit, prefetchable)对应可缓存，Memory at ... (64-bit, non-prefetchable)对应不可缓存。

2. 主机端（Intel Xeon）检查实际缓存行为 #

• 查看MTRR配置：执行cat /proc/mtrr，输出会列出各内存区域的缓存类型，比如write-back（可缓存回写）、uncached（不可缓存）。
• 查看页表属性：通过内核模块或调试工具（如内核调试器）查看BAR映射地址的页表项（PTE），x86架构中PTE的PCD（页缓存禁用）、PWT（页写透）位决定实际行为：
  • PCD=1：强制禁用缓存
  • PCD=0 + PWT=0：Write-Back缓存模式
  • PCD=0 + PWT=1：Write-Through缓存模式

三、BAR缓存属性的配置方式 #

1. 硬件端（Xilinx FPGA）配置 #

在Vivado中配置PCIe IP核的BAR属性：每个BAR可独立设置为Prefetchable Memory（可缓存）、Non-Prefetchable Memory（不可缓存）或IO空间。配置完成后会固化到FPGA比特流中，烧写后设备端BAR属性固定，需重新生成比特流才能修改。

2. 主机端软件调整 #

即使设备端配置了可缓存BAR，主机OS可能默认映射为不可缓存。此时可通过以下方式调整（需root权限，操作需谨慎）：

• Linux下修改MTRR：通过echo命令修改/proc/mtrr，指定目标BAR区域的缓存类型。
• 内核模块中调整映射：使用ioremap_cache()代替默认的ioremap()来映射BAR区域，强制启用缓存模式。

四、你的场景注意事项 #

• 若FPGA的BAR配置为Prefetchable Memory，Intel Xeon主机通常可将其映射为可缓存区域，但需确保FPGA端逻辑兼容缓存行为（比如处理写回脏数据、避免缓存一致性冲突）。
• 若应用对数据一致性要求极高（如实时寄存器读写），建议使用不可缓存BAR，规避缓存带来的延迟或数据不一致问题。

内容的提问来源于stack exchange，提问作者horse-master