Linux如何计算NUMA节点间的距离？（libnuma等NUMA库内部逻辑）

我来帮你拆解Linux里NUMA节点距离的计算逻辑，结合你提到的numactl代码细节来理清楚：

首先得明确，NUMA节点间的距离值本质是内存访问开销的相对比例，默认把本地节点的访问开销设为基准值10。远程节点的距离值越大，代表从当前节点访问它的内存开销越高（延迟更长、带宽更低）。

numactl里的numa_distance()函数其实并没有自己计算距离——它只是读取内核已经生成好的距离表。真正的计算是Linux内核在启动时完成的，核心步骤是：

• 硬件拓扑探测：内核通过架构特定的机制识别NUMA节点和互连链路：
  • x86架构：依赖ACPI SRAT表、BIOS提供的NUMA信息，或者CPU的CPUID指令识别插槽、缓存域划分，同时探测QPI/UPI等互连链路的存在。
  • ARM架构：通过设备树里的numa-distance节点，或者GICv3的拓扑信息来获取节点间的链路关系。
• 链路开销折算：内核根据链路的硬件特性把绝对开销转换成相对距离值：
  • 同插槽内的NUMA节点（比如AMD的CCX、Intel的SNC）：访问开销比本地略高，距离通常在12-13左右。
  • 跨插槽通过QPI/UPI连接的节点：开销是本地的1.5-2倍，对应距离15-20。
  • 跨PCIe连接的NUMA节点（比如带本地内存的GPU）：开销更高，距离可能达到30甚至更高。
  • 部分架构（比如PowerPC）会根据链路跳数计算，每多一跳距离值增加5-10。

你看numactl里的numa_distance()和相关代码，它的工作其实很直接：

• 它会读取/sys/devices/system/node/node[X]/distance这个sysfs文件，里面存储了一个整数数组，数组的第N个元素就是从节点X到节点N的距离值。
• 比如调用numa_distance(0, 1)，本质就是读取node0的distance文件里的第1个数值，返回给用户态程序。

• 距离值是静态的：内核启动时生成后就固定了，除非有硬件热插拔（比如添加新的NUMA节点），否则不会动态调整。
• 不同架构的计算逻辑差异大：x86更多依赖CPU互连链路的特性，ARM则更依赖固件提供的拓扑信息，没有统一的计算公式。
• 距离值是相对基准：不要把10当成10ns这种绝对时间，它只是本地访问开销的参考值，用来对比不同节点的访问成本。

内容的提问来源于stack exchange，提问作者Prajwal