使用aws-sdk-go-v2时如何配置S3的Request Payer选项
核心问题定位
当前遇到的403 AccessDenied错误,根源为两处配置缺失:
aws-sdk-go-v2不会自动识别环境变量AWS_REQUEST_PAYER的配置,所有请求付费方的参数必须显式写入每次S3调用的请求结构中- 原代码中无论是对象列表查询还是文件下载的请求,都没有携带
RequestPayer字段,在开启Requestor Pays的存储桶上,这类请求会被S3直接判定为未授权,拒绝返回响应。
等效实现配置要点
- 所有和开启Requestor Pays的存储桶交互的API(包括ListObjectsV2、GetObject等),请求结构中必须显式添加
RequestPayer字段,值为SDK提供的枚举类型types.RequestPayerRequester,不能直接传入字符串"requester",否则会触发参数序列化错误 - 不需要给S3 Client本身做全局额外配置,分页查询、Downloader组件的调用都只需要在对应请求的Input参数中带上上述配置即可,效果和AWS CLI的
--request-payer requester参数完全等效 - 注意不要漏掉List操作的配置:很多开发者只给下载请求加了RequestPayer,但第一步列对象的请求没加,依然会在分页拉取对象列表时触发403
修正后的完整可运行代码
package main import ( "context" "fmt" "os" "path/filepath" "github.com/aws/aws-sdk-go-v2/aws" "github.com/aws/aws-sdk-go-v2/config" "github.com/aws/aws-sdk-go-v2/feature/s3/manager" "github.com/aws/aws-sdk-go-v2/service/s3" "github.com/aws/aws-sdk-go-v2/service/s3/types" ) type awsArchive struct { bucket string config config.Config client *s3.Client } // download 实现指定前缀下所有对象的批量下载,与aws s3 sync逻辑等效 func (s *awsArchive) download(prefixUri string, destDir string) error { downloader := manager.NewDownloader(s.client) // 分页查询请求中显式声明请求付费方为调用者 paginator := s3.NewListObjectsV2Paginator(s.client, &s3.ListObjectsV2Input{ Bucket: &s.bucket, Prefix: &prefixUri, RequestPayer: types.RequestPayerRequester, }) for paginator.HasMorePages() { page, err := paginator.NextPage(context.TODO()) if err != nil { return err } for _, obj := range page.Contents { if err := downloadToFile(downloader, destDir, s.bucket, aws.ToString(obj.Key)); err != nil { return err } } } return nil } // downloadToFile 实现单个对象的下载落地 func downloadToFile(downloader *manager.Downloader, targetDirectory, bucket, key string) error { // 递归创建本地目标目录 file := filepath.Join(targetDirectory, key) if err := os.MkdirAll(filepath.Dir(file), 0775); err != nil { return err } // 创建本地写入文件句柄 fd, err := os.Create(file) if err != nil { return err } defer fd.Close() fmt.Printf("Downloading s3://%s/%s to %s...\n", bucket, key, file) // 下载请求中同样显式声明请求付费方为调用者 _, err = downloader.Download(context.TODO(), fd, &s3.GetObjectInput{ Bucket: &bucket, Key: &key, RequestPayer: types.RequestPayerRequester, }) return err } // NewArchiveClient 初始化S3客户端实例 func NewArchiveClient(bucket string) (*awsArchive, error) { cfg, err := config.LoadDefaultConfig(context.TODO()) if err != nil { return nil, err } client := s3.NewFromConfig(cfg) return &awsArchive{ bucket: bucket, config: cfg, client: client, }, nil }
排查注意事项
- 修改配置后可先单独测试ListObjectsV2接口的调用,确认不再返回403后再验证完整下载流程
- RequestPayer参数仅承担“声明本次请求的流量、请求费用由调用方承担”的作用,不能替代IAM权限校验。如果配置完成后仍然报权限错误,需要确认当前使用的AWS身份对目标存储桶具备读取权限。
内容的提问来源于stack exchange,提问作者rstegmann-arch
相关产品推荐
相关产品推荐

