Composer 2搭配GKE Autopilot部署GPU工作负载遇阻求助

结论 #

你当前的环境无法通过Autopilot模式部署GPU工作负载，但可以通过创建专用GPU节点池的方式运行GPU任务。

原因与解决方案 #

• Autopilot模式不可用的原因：你使用的GKE版本是1.22.12-gke.2300，低于官方要求的Autopilot支持GPU的最低版本1.24.2-gke.1800，搭配当前Composer 2版本（composer-2.0.28-airflow-2.3.3）时，Autopilot集群自然不支持GPU，这就是报错Autopilot doesn't support GPUs yet的根源。
• 可行方案：无需更换Composer版本，通过GKECreateClusterOperator创建专用GPU节点池即可。配置节点池时，要指定匹配的GPU机型、对应GPU驱动镜像，同时保证节点的机器配置满足GPU运行的硬件要求。

内容的提问来源于stack exchange，提问作者ThinkTeamwork