TFX是否支持在AWS集群上开展分布式训练？

能否使用TFX在AWS平台上开展分布式训练？ #

可以，TFX本身没有绑定GCP生态，在AWS上做分布式训练有成熟落地路径：

• 最简便的方式是使用TFX官方提供的SageMaker扩展组件，直接将流水线中的Trainer节点对接Amazon SageMaker托管训练集群，既支持SageMaker自带的数据并行、模型并行分布式策略，也可以直接读取S3中存储的训练数据，不需要额外改造核心流水线逻辑。
• 如果倾向自托管集群，可以在EC2上搭建Kubernetes集群，搭配Kubeflow部署TFX流水线，通过TensorFlow原生的tf.distribute相关API实现分布式训练，存储层适配S3、EFS即可，只要放通集群节点间TensorFlow分布式训练所需的通信端口，就能正常跑训练任务。

TFX依赖的Apache Beam是否支持AWS集群？ #

完全支持，Apache Beam作为跨运行器的编程框架，除了GCP Dataflow、Spark、Flink等通用运行器外，对AWS集群生态有完整适配：

• 你可以直接用AWS EMR托管的Flink/Spark集群作为Beam运行后端，不管是选Flink运行器还是Spark运行器，TFX中基于Beam实现的数据校验、预处理、转换等节点都可以直接在EMR集群上分布式运行，原生支持S3数据读写。
• 如果不想自己维护集群，也可以对接Amazon Kinesis Data Analytics托管服务作为Beam运行器，适配逻辑和使用GCP Dataflow没有本质区别。

补充说明：目前Beam的AWS相关运行器已经覆盖TFX绝大多数生产级使用场景，只有少数默认对接GCP特有服务的内置组件（比如原生对接GCP AI Platform的模型推优、部署组件），需要替换为对应AWS服务（SageMaker模型调优、SageMaker Endpoint部署）的自定义实现即可正常使用。

内容的提问来源于stack exchange，提问作者Raj