HPC性能容量判定：集群节点与CPU配置性能对比

调研基础信息 #

本次调研覆盖两类x86架构计算平台，基础配置信息如下：

• 常规HPC集群：基于PBS作业调度系统，执行pbsnodes -a指令查询到集群共包含40个节点；单节点配置为2颗CPU、单颗6物理核、关闭超线程（每核1线程），合计12逻辑CPU
• 迷你集群（minicluster）：单节点配置为2颗CPU、单颗20物理核、开启超线程（每核2线程），合计80逻辑CPU

两类平台单节点CPU的lscpu采集信息如下：

常规HPC集群单节点CPU参数 #

Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                12
On-line CPU(s) list:   0-11
Thread(s) per core:    1
Core(s) per socket:    6
Socket(s):             2
NUMA node(s):          2
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 79

该参数对应Intel Broadwell架构（至强E5 v4系列），2016年前后发布，为传统HPC集群常用的上代服务器CPU。

迷你集群单节点CPU参数 #

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              80
On-line CPU(s) list: 0-79
Thread(s) per core:  2
Core(s) per socket:  20
Socket(s):           2
NUMA node(s):        2
Vendor ID:           GenuineIntel
CPU family:          6
Model:               85

该参数对应Intel Cascade Lake架构（至强可扩展金牌/铂金系列），2019年前后发布，为当前小规模计算节点常用的服务器CPU。

问题解答 #

1. 常规HPC集群查询到的40个节点的作用 #

pbsnodes -a是PBS调度系统自带的节点查询指令，返回的40个节点全部是集群的计算节点，是集群实际承载运算任务的硬件单元，核心作用包括：

• 作为集群计算资源池的基本组成单元，所有用户提交到PBS系统的作业，都会由调度器按照作业申请的CPU、内存、加速器等资源配额，分配到状态空闲的计算节点上运行；集群的登录节点、管理节点默认不承载计算任务，不会出现在该指令的返回列表中
• 按单节点12逻辑CPU计算，该常规HPC集群的总CPU算力为480逻辑CPU，既可以同时运行多道独立的串行/并行作业，也可以支撑跨节点的大规模MPI并行作业，将任务拆分到多个节点同时运算
• 节点列表会同步标记每个节点的实时状态（空闲、忙碌、故障、离线、维护等），是调度器做资源分配决策的核心依据

2. 两类集群实际性能的对比判定方法 #

不能直接通过单节点逻辑CPU数量判定性能高低，需要结合资源规模、硬件代差、作业特性三个维度综合判断，核心判定逻辑如下：

• 首先对比集群总资源规模：当前查询到的常规HPC集群总共有480逻辑CPU，如果迷你集群为单节点部署，总逻辑CPU仅为80，整体资源规模仅为常规HPC集群的1/6，运行需要大规模并行的跨节点作业时，常规HPC集群的总吞吐能力会远高于单节点迷你集群；如果迷你集群包含多个节点，需要先统计总逻辑CPU、总内存、网络配置做基础对标
• 其次折算单节点等效算力：两类CPU存在明确代差，迷你集群采用的Cascade Lake架构比常规HPC的Broadwell架构IPC（每时钟周期执行指令数）高15%_{20%，同主频下单物理核基础性能高20%左右。需要注意迷你集群的80逻辑CPU中有一半是超线程虚拟出的逻辑核，超线程在纯计算密集型场景下仅能带来10%}30%的性能增益，不能等同于独立物理核计算。折算下来迷你集群单节点的等效算力约等于50_{60个Broadwell架构物理核，大概是常规HPC单节点算力的4}5倍，具体数值随作业类型浮动
• 最后结合作业适配场景判断：
  • 单节点即可承载的中小规模作业、内存带宽/容量敏感型作业、依赖AVX-512等新指令集的作业，在迷你集群上的运行效率远高于常规HPC单节点
  • 需要跨节点通信的大规模并行作业，只要常规HPC集群的节点间互联网络（如InfiniBand）配置达标，凭借更大的总资源池，作业整体运行速度会明显高于资源规模更小的迷你集群
  • 超线程无增益的强计算密集型作业（如第一性原理计算、高精度有限元仿真），迷你集群的超线程收益会降到10%以内，单节点实际性能约为常规HPC单节点的3.5~4倍

内容的提问来源于stack exchange，提问作者Zilore Mumba