创建dask-fargate-stack时CloudFormation报ROLLBACK_IN_PROGRESS错误
CloudFormation 部署 dask-fargate-stack 回滚(ROLLBACK_IN_PROGRESS)排查方案
- 第一步先定位根因:进入CloudFormation控制台选中对应栈,切换到「事件」页,按时间倒序查找状态为
CREATE_FAILED的事件记录,直接看具体失败的资源和报错码,不要先默认是模板问题,90%的回滚都是配置类错误:- 权限问题:执行部署的身份缺少Fargate、ECS、VPC、IAM相关资源的创建权限,或是模板预创建的IAM角色和账号内已有角色重名、超出角色配额
- 网络配置错误:参数填写的VPC/子网和当前SageMaker实例不在同一VPC,或是所选可用区不支持Fargate、VPC内没有可用的公网NAT供集群拉取镜像
- 配额问题:当前区域Fargate的vCPU/内存配额不足,无法启动模板预设规格的工作节点
- 模板版本过时:官方旧模板里常引用已经下线的资源版本,比如Python3.7运行时的Lambda函数、废弃的ECS调度参数,这类问题直接把模板导出到本地,替换对应API版本、运行时版本后,再上传本地模板创建即可
- 手动创建分布式Dask栈没有特殊流程,和普通CloudFormation栈创建逻辑完全一致,只要把必填的集群名、节点规格、网络配置、权限关联参数填对就能正常部署。注意等栈回滚完成后再重新发起创建,回滚过程中不要强制删除栈,避免残留弹性网卡、角色碎片导致下次部署失败。
SageMaker 上配置 Coiled 输入token报错解决
- 先排查网络连通性:如果是VPC模式部署的SageMaker实例,确认VPC配置了公网NAT网关、实例关联的安全组放通出站公网流量,token校验请求无法发出是最常见的报错原因
- 避开交互式输入的流透传问题:不要在Notebook单元格或者内置终端里手动输入token,改用环境变量注入的方式配置:
- 在Notebook开头运行代码写入环境变量
import os os.environ["COILED_TOKEN"] = "你的Coiled账号token"- 后续直接调用
coiled.login()会自动读取环境变量完成认证,不会触发交互式输入的流异常
- 依赖冲突排查:先执行
pip install -U coiled dask distributed升级相关包到最新版本,旧版本Coiled和SageMaker预装的IAM认证插件存在依赖冲突,会直接导致token校验逻辑异常。
内容的提问来源于stack exchange,提问作者Jorge
相关产品推荐
相关产品推荐

