Amazon SageMaker非GPU实例上Horovod与TensorFlow能否运行？

Horovod搭配TensorFlow完全可以在Amazon SageMaker的非GPU实例上运行，核心原因和配置要点如下：

• Horovod原生支持CPU分布式训练：Horovod基于MPI实现进程间通信，从设计之初就兼容CPU环境，不需要依赖CUDA等GPU相关库，纯CPU集群也能完成分布式训练的通信同步。

• SageMaker CPU实例适配性：SageMaker的c5、m5等全系列CPU实例都可以用来搭建Horovod分布式训练环境，只要在训练容器或脚本中正确配置Horovod的CPU版本即可。

• 关键配置步骤：

  1. 安装Horovod时指定CPU模式：针对TensorFlow环境，可使用pip install horovod[tensorflow,mpi] --no-cache-dir完成安装（适配TensorFlow 2.x版本，若为1.x可调整对应安装参数）。
  2. SageMaker训练作业配置：创建训练任务时，将分布式训练框架指定为Horovod，并选择所需的CPU实例类型和数量。
  3. 脚本适配：确保训练脚本中Horovod初始化逻辑正确（比如hvd.init()），无需添加GPU设备绑定相关代码，保持CPU环境的运行逻辑即可。

• 示例代码兼容：你提到的Word2Vec示例代码本身支持CPU运行，无需修改核心逻辑，只要配合SageMaker的Horovod分布式配置，就能在CPU实例集群上完成分布式训练。

内容的提问来源于stack exchange，提问作者juvchan