双路服务器中pthreads多线程应用能否跨CPU运行？锁与内存延迟受何影响？

1. 跨插槽通信对内存延迟的影响 #

双路CPU系统属于**NUMA（非统一内存访问）**架构，每个CPU插槽自带独立的内存控制器和本地内存，插槽之间通过专用链路（比如Intel QPI、AMD Infinity Fabric）通信以维护缓存一致性、同步锁状态：

• 访问本地内存（同插槽CPU连接的内存）延迟最低，通常在30-50ns左右；
• 访问远端内存（另一个插槽CPU连接的内存）需要通过插槽间链路转发，延迟会显著提升，大概是本地的1.5-2倍；
• 跨插槽的缓存一致性操作（比如MESI协议的跨节点同步）也会带来额外开销，但现代链路的带宽和延迟已经做了优化，只要不是频繁跨节点访问，不会成为性能瓶颈。

2. 操作系统对进程/线程的调度策略 #

操作系统默认会做NUMA亲和性调度：

• 当进程/线程在某个插槽的核心上启动后，OS会尽量把它留在该插槽的核心上运行，并且优先分配该插槽的本地内存；
• 这不是强制限制，用户可以通过工具（如numactl、taskset）或者编程API手动调整线程/进程的NUMA节点亲和性，也可以强制让进程跨插槽调度；
• 如果你没有手动干预，OS的默认策略已经能避免大部分不必要的跨节点开销。

3. 内存是否全局共享 #

是的，整个系统的内存是全局共享的，所有CPU都能访问任意位置的内存，但由于NUMA架构的存在，不同位置的内存访问效率不同：

• 每个CPU插槽的本地内存由该插槽的内存控制器直接管理，访问速度最快；
• 远端内存需要经过插槽间链路，由目标插槽的内存控制器处理，速度较慢；
• 从编程视角看，内存地址空间是统一的，你不需要区分本地和远端内存，但如果要优化性能，就需要考虑NUMA亲和性。

编程层面的高性能优化建议 #

如果未来要针对这类系统编写代码，重点关注以下几点：

• 数据亲和性：尽量让线程和它频繁访问的数据落在同一个NUMA节点上，比如用NUMA感知的内存分配函数（如numa_alloc_local）分配线程专属数据；
• 减少跨节点共享：如果多个线程需要共享数据，尽量让这些线程都在同一个NUMA节点上，或者把共享数据拆分到各个节点的本地内存中（分区锁、分片数据结构）；
• 避免跨节点锁竞争：跨NUMA节点的锁竞争会带来额外的同步开销，尽量使用本地锁，或者设计无锁数据结构；
• 利用NUMA感知的调度工具：部署应用时可以用numactl指定应用运行的NUMA节点，比如numactl --cpunodebind=0 --membind=0 ./your_app，强制应用在0号节点运行并使用本地内存。

内容的提问来源于stack exchange，提问作者Simon Goater