AMD EPYC平台跨通道内存访问交织粒度验证异常排查

核心原因：虚拟地址与物理地址的映射不匹配预期 #

你观察到的现象核心原因是内存通道的交织规则基于物理地址，但程序通过虚拟地址访问，而操作系统分配的物理页（即使是2M大页）会随机分布在所有内存通道上，导致理论上的虚拟地址访问模式无法对应到单一物理通道的访问。

具体细节拆解 #

1. NPS1模式的内存交织逻辑
   AMD EPYC的NPS1模式下，物理地址的特定位段用于选择内存通道（8通道场景下，通常是物理地址的某3位决定通道），交织粒度256字节意味着每256字节的物理地址会切换到下一个通道。你预期的"每2K空间的前256字节都落在同一通道"，是建立在这些虚拟地址对应的物理地址连续且严格符合交织规则的前提下，但实际并不满足。

2. 物理页的随机分布
   你使用malloc分配2M大页内存时，操作系统会从全局空闲物理页池中分配物理页，这些物理页的物理地址是分散在所有内存通道的。即使你在虚拟地址层面按2K步长跳取前256字节，每个虚拟地址块对应的物理页可能属于不同的内存通道，最终导致所有通道都有访问流量，带宽均匀分布。

3. 后续测试的验证逻辑
   你做的三个后续测试都无法改变物理页分布的事实：

   • 禁用预取器：排除了预取指令跨通道拉取数据的可能，但核心的物理页分布问题仍存在
   • 调整访问粒度：无论访问4K还是16K块的缓存行，虚拟地址对应的物理页依然分散在各通道
   • 替换为标量指令：指令类型不影响物理地址到通道的映射规则，因此结果无变化

验证与解决思路 #

如果要验证这个结论，可以通过以下方式：

• 直接获取虚拟地址对应的物理地址（比如通过/proc/self/pagemap文件解析），检查这些物理地址的通道选择位是否分散在所有8个通道
• 使用大页内存绑定到特定NUMA节点/内存通道（通过numactl或内存分配API指定），确保所有分配的物理页都来自同一通道，再运行测试即可看到带宽集中在单一通道

内容的提问来源于stack exchange，提问作者Frontier_Setter