AWS SDK .NET：通过PrivateLink+IMDSv2访问S3遇401错误求助

问题背景 #

在EC2实例上尝试通过IAM角色访问S3 PrivateLink存储桶时，InstanceProfileAWSCredentials抛出401错误。经排查，问题源于IMDSv2要求访问元数据必须携带Token，当前代码配置导致SDK未正确处理Token逻辑；即使手动指定角色名后，访问S3仍报相同错误。

IMDSv2获取Token及访问元数据的命令：

TOKEN=`curl -X PUT "http://169.254.169.254/latest/api/token" -H "X-aws-ec2-metadata-token-ttl-seconds: 21600"`
curl -H "X-aws-ec2-metadata-token: $TOKEN" -v http://169.254.169.254/latest/meta-data/iam/info

不带Token执行curl会返回401错误，与SDK报错一致，但AWS CLI可正常工作。

原代码示例：

Amazon.S3.AmazonS3Config S3config = new Amazon.S3.AmazonS3Config();
S3config.ServiceURL = "http://s3.region.amazonaws.com";
S3config.SetWebProxy(new System.Net.WebProxy()); //PrivateLink no proxy needed

var credentials = new Amazon.Runtime.InstanceProfileAWSCredentials(new System.Net.WebProxy());
# breaks here

Amazon.S3.AmazonS3Client _S3 = new Amazon.S3.AmazonS3Client(credentials, S3config);
Amazon.S3.Model.GetObjectResponse response = await _S3.GetObjectAsync(context.Bucket, context.Key);
# or here

根据AWS文档：

This is not generally needed for normal usage of the AWS CLI or SDKs, which handle this automatically.

但实际SDK未自动处理，手动指定角色名InstanceProfileAWSCredentials("MyRole")可通过凭证获取，但访问S3仍报401。

解决方案 #

1. 升级AWS .NET SDK版本 #

旧版本AWS .NET SDK对IMDSv2支持不完善，确保使用最新稳定版的AWSSDK.Core和AWSSDK.S3包。

2. 修正代理配置 #

IMDS元数据地址169.254.169.254是本地地址，无需走代理。不要手动传递空WebProxy给InstanceProfileAWSCredentials，让SDK自动处理代理绕过逻辑：

// 移除凭证构造中的WebProxy参数
var credentials = new Amazon.Runtime.InstanceProfileAWSCredentials();

若需配置S3代理，显式绕过本地元数据地址：

var proxy = new System.Net.WebProxy();
proxy.BypassList = new[] { "169.254.169.254" };
S3config.SetWebProxy(proxy);

3. 强制SDK使用IMDSv2 #

通过环境变量或代码配置，强制SDK使用IMDSv2获取元数据：

• 环境变量方式：设置AWS_EC2_METADATA_V2_ENABLED=true
• 代码方式：

Amazon.Runtime.EC2InstanceMetadata.UseInstanceMetadataServiceV2 = true;
// 可选设置Token过期时间（默认6小时）
Amazon.Runtime.EC2InstanceMetadata.MetadataTokenTtlSeconds = 21600;

4. 检查S3 PrivateLink端点策略 #

确保VPC中的S3端点策略允许EC2实例的IAM角色访问目标存储桶，示例策略：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::ACCOUNT_ID:role/MyRole"
      },
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::BUCKET_NAME/*"
    }
  ]
}

5. 修正后的完整代码示例 #

// 强制启用IMDSv2
Amazon.Runtime.EC2InstanceMetadata.UseInstanceMetadataServiceV2 = true;

Amazon.S3.AmazonS3Config S3config = new Amazon.S3.AmazonS3Config();
S3config.ServiceURL = "http://s3.region.amazonaws.com";
// 配置代理绕过本地元数据地址
var proxy = new System.Net.WebProxy();
proxy.BypassList = new[] { "169.254.169.254" };
S3config.SetWebProxy(proxy);

// 不传递WebProxy，让SDK自动处理凭证获取
var credentials = new Amazon.Runtime.InstanceProfileAWSCredentials();

Amazon.S3.AmazonS3Client _S3 = new Amazon.S3.AmazonS3Client(credentials, S3config);
Amazon.S3.Model.GetObjectResponse response = await _S3.GetObjectAsync(context.Bucket, context.Key);

关键说明 #

• AWS SDK默认应自动处理IMDSv2的Token逻辑，但错误的代理配置会干扰流程，导致无法获取Token从而报401。
• 手动指定角色名后仍报S3 401，通常是S3端点策略未授权该角色，而非Token问题。

内容的提问来源于stack exchange，提问作者Ranald Fong