CockroachDB在NUMA启用处理器上的配置及相关技术咨询

一、CockroachDB文档中NUMA相关建议的演变 #

CockroachDB v2.1版本文档曾对NUMA（非均匀内存访问）架构下的节点规格给出明确建议：

如需提升处理能力（最多16 vCPUs），增加vCPUs比增加RAM更优。否则，应增加节点而非提升vCPUs，因为后者会带来NUMA（非均匀内存访问）相关影响。我们的内部测试结果表明，这是OLTP工作负载的最佳平衡点。使用规格统一的节点是最佳实践，可确保SQL性能一致。

后续版本移除了NUMA相关的直接提及，v19.1版本将内容改写为：

为优化吞吐量，可使用更大规格的节点，最多32 vCPUs。根据内部测试结果，32 vCPUs是OLTP工作负载的最佳平衡点。对于RAM，目标为每vCPU对应2 GB的比例。
如需进一步提升吞吐量，应向集群添加更多节点而非增大节点规格。

二、Cockroach Labs 2022云报告结论 #

在诸多工作负载下，拥有多个NUMA节点的实例性能显著低于仅运行在单个NUMA节点上的实例。对于部分实例类型，这是小型与大型实例之间性能差异的全部原因。

三、NUMA架构的配置建议 #

目前CockroachDB官方文档未针对NUMA架构及Linux配置给出通用建议，有传闻称CRDB不具备NUMA感知能力，但该信息未被官方正式记录。RedHat提供了更具体的实践指导：

通常，在NUMA系统上实现最佳性能的方法是将虚拟机规格限制为单个NUMA节点的资源量，避免不必要地跨NUMA节点拆分资源。

内容的提问来源于stack exchange，提问作者Brad Schoening