R语言调用Keras建模时如何启用全部CPU核心实现并行计算

原有doParallel代码无效原因 #

doParallel是R层面的任务并行框架，仅对显式通过foreach编写的循环逻辑生效。Keras的fit()训练过程是直接调用底层TensorFlow计算引擎执行，不会调用你注册的R并行集群，因此这种写法完全不会触发多核心计算。 #

可落地的配置方案 #

• 方案1：配置TensorFlow底层线程（单模型训练首选，效果最直接）
  Keras for R依赖的TensorFlow后端默认不会自动占满所有CPU核心，必须在加载keras、构建模型之前完成线程配置，否则配置不会生效：

library(tensorflow)
# 单运算内部并行线程数，直接填写设备物理CPU核心数，40核CPU填40即可
tf$config$threading$set_intra_op_parallelism_threads(40L)
# 多运算间并行线程数，通常设置为物理核心数的1/2即可，40核可填20
tf$config$threading$set_inter_op_parallelism_threads(20L)

# 配置完成后再加载keras、构建模型、执行fit训练流程
library(keras)
# 后续原有模型构建、训练代码无需修改

注意：如果CPU开启了超线程，不要按逻辑核心数配置线程，填写物理核心数可以避免线程争抢带来的性能损耗。

• 方案2：配置底层数学库线程
  如果你的R环境链接了OpenBLAS、Intel MKL等优化线性代数库，矩阵运算的并行度受环境变量控制，需要在R脚本最开头、加载任何第三方库之前添加以下配置：

# 数值统一填写设备物理CPU核心数
Sys.setenv(OPENBLAS_NUM_THREADS = 40)
Sys.setenv(MKL_NUM_THREADS = 40)
Sys.setenv(OMP_NUM_THREADS = 40)

• 方案3：任务级并行（仅适用于交叉验证、超参数搜索场景）
  如果需要并行跑多个独立的训练任务（比如K折交叉验证、网格搜索调参），才需要用到多进程并行，注意不能直接把单个fit流程套在并行注册代码外，要把独立的训练任务拆分到不同核心执行：
  • 优先用doFuture的multicore模式（仅Linux/macOS支持，Windows系统无fork模式性能开销大），不要用doParallel的socket集群，避免环境复制开销和对象找不到的问题
  • 每个工作进程需要单独配置TensorFlow线程数，控制单个任务占用的核心数，避免多任务线程争抢
    基础示例代码：

library(doFuture)
library(future)
# 根据任务数分配进程，比如跑5折交叉验证就开5个进程，每个进程分配8核计算资源
plan(multicore, workers = 5)
registerDoFuture()
# 后续通过foreach遍历每个折/每组超参数，在循环内单独构建模型、执行训练

单模型训练场景不要开多进程并行，会导致内存重复占用、线程争抢，训练速度反而比单进程配满线程更慢。

内容的提问来源于stack exchange，提问作者TUSTLGC