AWS SageMaker中MXNet读取S3数据集报错：需设置AWS_SECRET_ACCESS_KEY

我来帮你梳理几个可行的解决思路，针对你遇到的这个MXNet要求设置AWS密钥环境变量，但已经绑定了IAM角色的情况：

• 让MXNet自动使用SageMaker实例的IAM角色凭证
  MXNet其实支持直接利用EC2实例的Instance Profile来获取S3访问权限，不需要手动设置密钥环境变量。你只需要在代码开头添加这几行，开启这个功能：

  import os
  os.environ['MXNET_S3_USE_INSTANCE_PROFILE'] = '1'
  

  设置后，MXNet会自动从SageMaker Notebook实例的元数据服务中获取临时凭证，这样就能绕过对AWS_SECRET_ACCESS_KEY的直接要求了。

• 手动加载临时凭证到环境变量
  如果上面的方法不生效，你可以通过boto3直接获取实例的临时IAM凭证，然后手动设置到环境变量里，让MXNet能读取到：

  import os
  import boto3
  from botocore.credentials import InstanceMetadataProvider, InstanceMetadataFetcher
  
  # 从实例元数据获取临时凭证
  provider = InstanceMetadataProvider(fetcher=InstanceMetadataFetcher(timeout=1000, num_attempts=2))
  creds = provider.load()
  
  # 设置环境变量
  os.environ['AWS_ACCESS_KEY_ID'] = creds.access_key
  os.environ['AWS_SECRET_ACCESS_KEY'] = creds.secret_key
  os.environ['AWS_SESSION_TOKEN'] = creds.token
  

  执行这段代码后再初始化ImageRecordIter，应该就能正常访问S3里的文件了。

• 升级MXNet版本
  旧版本的MXNet对SageMaker IAM角色的支持可能不完善，导致无法自动识别实例的权限。你可以尝试升级到最新的稳定版MXNet：

  # CPU版本
  !pip install mxnet --upgrade
  # GPU版本（根据你的CUDA版本调整，比如cu112对应CUDA 11.2）
  !pip install mxnet-cu112 --upgrade
  

  升级后再测试你的代码，说不定就能解决凭证识别的问题。

• 再次验证IAM角色权限
  虽然你已经确认过，但还是建议再检查一遍：

  • 确保IAM角色拥有s3:GetObject权限，并且资源范围包含你的目标S3桶（比如arn:aws:s3:::bucket-name/*）
  • 检查角色的信任策略是否允许SageMaker服务（sagemaker.amazonaws.com）扮演该角色
  • 确认没有额外的条件限制（比如IP地址、时间范围）导致权限无法生效

内容的提问来源于stack exchange，提问作者Lakshay Sharma