Fargate运行Zeppelin报无法加载AWS凭证的配置问题咨询

你遇到的Unable to load AWS credentials from any provider in the chain报错本质是Fargate场景下Zeppelin进程无法正常获取到任务角色的临时凭证，需要完成以下额外配置：

• 修正ECS任务定义配置
  • 不要共用任务角色与执行角色，需分别配置且明确授权：
    • 执行角色：仅授予ECS拉取镜像、读取启动所需机密参数的权限即可
    • 任务角色：授予S3目标存储桶的读写权限，这是Zeppelin运行时实际调用的角色
  • 确认任务定义的网络模式设置为Fargate唯一支持的awsvpc模式，否则Fargate无法为任务注入凭证相关的环境变量与元数据服务路由
• 调整Zeppelin内置的凭证获取逻辑
  在Zeppelin镜像的conf/zeppelin-env.sh配置文件中添加以下参数，强制其优先从ECS任务元数据服务获取凭证，禁用本地硬编码凭证读取逻辑：

  # 清空本地硬编码凭证配置，避免优先读取无效空值
  export AWS_ACCESS_KEY_ID=
  export AWS_SECRET_ACCESS_KEY=
  # 保留Fargate自动注入的凭证URI环境变量
  export AWS_CONTAINER_CREDENTIALS_RELATIVE_URI
  

  同时在conf/zeppelin-site.xml中开启实例角色使用开关：

  <property>
    <name>zeppelin.notebook.s3.useInstanceProfile</name>
    <value>true</value>
  </property>
  

• 配置VPC网络权限确保STS服务可达
  Fargate任务需要调用STS服务获取临时凭证，需根据你选择的子网类型配置网络通路：
  • 公网子网部署：需为Fargate任务开启公网IP分配，或配置子网路由指向NAT网关
  • 私有子网部署：需在VPC中添加STS和S3的私有端点，确保出站流量无需公网即可访问AWS服务
• 升级Zeppelin镜像中的AWS SDK版本
  1.11.0以下版本的AWS Java SDK不支持Fargate的凭证提供链逻辑，需将镜像内置的AWS Java SDK升级到1.11.0及以上版本，才可识别Fargate自动注入的凭证环境变量。

内容的提问来源于stack exchange，提问作者scoder