You need to enable JavaScript to run this app. 使用aws-sdk-go-v2时如何配置S3的Request Payer选项
优惠活动
大模型
产品
解决方案
定价
更多

使用aws-sdk-go-v2时如何配置S3的Request Payer选项

核心问题定位

当前遇到的403 AccessDenied错误,根源为两处配置缺失:

  1. aws-sdk-go-v2 不会自动识别环境变量AWS_REQUEST_PAYER的配置,所有请求付费方的参数必须显式写入每次S3调用的请求结构中
  2. 原代码中无论是对象列表查询还是文件下载的请求,都没有携带RequestPayer字段,在开启Requestor Pays的存储桶上,这类请求会被S3直接判定为未授权,拒绝返回响应。
等效实现配置要点
  • 所有和开启Requestor Pays的存储桶交互的API(包括ListObjectsV2、GetObject等),请求结构中必须显式添加RequestPayer字段,值为SDK提供的枚举类型types.RequestPayerRequester,不能直接传入字符串"requester",否则会触发参数序列化错误
  • 不需要给S3 Client本身做全局额外配置,分页查询、Downloader组件的调用都只需要在对应请求的Input参数中带上上述配置即可,效果和AWS CLI的--request-payer requester参数完全等效
  • 注意不要漏掉List操作的配置:很多开发者只给下载请求加了RequestPayer,但第一步列对象的请求没加,依然会在分页拉取对象列表时触发403
修正后的完整可运行代码
package main

import (
	"context"
	"fmt"
	"os"
	"path/filepath"

	"github.com/aws/aws-sdk-go-v2/aws"
	"github.com/aws/aws-sdk-go-v2/config"
	"github.com/aws/aws-sdk-go-v2/feature/s3/manager"
	"github.com/aws/aws-sdk-go-v2/service/s3"
	"github.com/aws/aws-sdk-go-v2/service/s3/types"
)

type awsArchive struct {
	bucket string
	config config.Config
	client *s3.Client
}

// download 实现指定前缀下所有对象的批量下载,与aws s3 sync逻辑等效
func (s *awsArchive) download(prefixUri string, destDir string) error {
	downloader := manager.NewDownloader(s.client)
	// 分页查询请求中显式声明请求付费方为调用者
	paginator := s3.NewListObjectsV2Paginator(s.client, &s3.ListObjectsV2Input{
		Bucket:       &s.bucket,
		Prefix:       &prefixUri,
		RequestPayer: types.RequestPayerRequester,
	})

	for paginator.HasMorePages() {
		page, err := paginator.NextPage(context.TODO())
		if err != nil {
			return err
		}
		for _, obj := range page.Contents {
			if err := downloadToFile(downloader, destDir, s.bucket, aws.ToString(obj.Key)); err != nil {
				return err
			}
		}
	}
	return nil
}

// downloadToFile 实现单个对象的下载落地
func downloadToFile(downloader *manager.Downloader, targetDirectory, bucket, key string) error {
	// 递归创建本地目标目录
	file := filepath.Join(targetDirectory, key)
	if err := os.MkdirAll(filepath.Dir(file), 0775); err != nil {
		return err
	}

	// 创建本地写入文件句柄
	fd, err := os.Create(file)
	if err != nil {
		return err
	}
	defer fd.Close()

	fmt.Printf("Downloading s3://%s/%s to %s...\n", bucket, key, file)
	// 下载请求中同样显式声明请求付费方为调用者
	_, err = downloader.Download(context.TODO(), fd, &s3.GetObjectInput{
		Bucket:       &bucket,
		Key:          &key,
		RequestPayer: types.RequestPayerRequester,
	})

	return err
}

// NewArchiveClient 初始化S3客户端实例
func NewArchiveClient(bucket string) (*awsArchive, error) {
	cfg, err := config.LoadDefaultConfig(context.TODO())
	if err != nil {
		return nil, err
	}
	client := s3.NewFromConfig(cfg)
	return &awsArchive{
		bucket: bucket,
		config: cfg,
		client: client,
	}, nil
}
排查注意事项
  • 修改配置后可先单独测试ListObjectsV2接口的调用,确认不再返回403后再验证完整下载流程
  • RequestPayer参数仅承担“声明本次请求的流量、请求费用由调用方承担”的作用,不能替代IAM权限校验。如果配置完成后仍然报权限错误,需要确认当前使用的AWS身份对目标存储桶具备读取权限。

内容的提问来源于stack exchange,提问作者rstegmann-arch

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 11:15:05