SageMaker训练作业权限继承及MLflow追踪连接失败问题求助

不会完全继承边缘节点的所有权限。SageMaker训练作业运行在SageMaker托管的独立计算资源上，其权限由指定的IAM角色控制，而非直接继承边缘节点的本地权限。边缘节点的权限仅作用于本地环境，训练作业的执行环境是隔离的，仅能使用附加到其IAM角色的权限策略。

如果需要训练作业访问边缘节点可访问的资源，需完成两步：

• 将对应资源的访问权限添加到训练作业的IAM角色权限策略中；
• 配置训练作业的网络环境（如VPC、安全组），确保与目标资源的网络连通性。

核心原因 #

IAM角色权限与网络访问是独立的两个维度，即使训练作业继承了Notebook的IAM角色，也不代表具备相同的网络连通性：

1. 网络环境差异：Notebook实例通常部署在企业VPC内，已配置好企业内部DNS解析和网络路由，能正常访问内部MLflow服务；但超参调优的训练作业默认可能使用SageMaker公共网络环境，无法解析企业内部域名mlflow.dev.corp.net（报错中的Errno -2 Name or service not known正是域名解析失败的直接体现）。
2. DNS配置缺失：训练作业所在的VPC未配置企业内部DNS服务器，导致无法解析私有域名。
3. 网络规则限制：训练作业所在子网的安全组、网络ACL（NACL）或路由表未配置允许出站访问MLflow服务器的80端口及地址。

解决方案 #

• 绑定企业VPC到超参调优作业：创建超参调优作业时，指定企业VPC的子网和安全组，确保这些子网已接入企业内部网络，安全组允许出站访问MLflow服务的80端口。
• 配置VPC自定义DNS：在VPC的DHCP选项集中设置企业内部DNS服务器地址，让训练作业的计算实例能正确解析mlflow.dev.corp.net。
• 验证网络连通性：在训练作业的启动脚本中添加测试命令，比如：

  nslookup mlflow.dev.corp.net
  curl http://mlflow.dev.corp.net
  

  通过输出结果确认域名解析和网络连通情况，定位具体网络问题。
• 检查网络规则：确认训练作业所在子网的路由表包含指向企业内部网络的路由，安全组和NACL允许与MLflow服务器的双向通信。

内容的提问来源于stack exchange，提问作者zhh210