aws-sdk-go调用S3的GetObject/HeadObject时key不存在永久阻塞问题咨询

核心原因 #

• 上下文没有超时控制：你定义的download函数接收了context.Context参数但完全未使用，所有S3请求都使用无超时的context.Background()，请求异常时没有中断机制。
• 未限制SDK最大重试次数：aws-sdk-go v1默认会对可重试错误无限重试，如果你使用的是S3兼容存储（如MinIO），当key不存在时服务端没有返回标准404 NotFound错误，而是返回了SDK判定为可重试的错误类型，就会触发无限重试导致永久阻塞。
• Region配置非法：你在aws.Config中填写的Region为"default"，不符合AWS SDK的参数要求，会触发SDK内部未知的异常逻辑，进一步加剧请求卡住的概率。
• HeadObject错误处理不合理：当前代码HeadObject出错直接panic，没有区分404错误和其他异常，无法提前感知key不存在的情况。

修复方案 #

1. 添加上下文超时控制 #

给所有S3请求绑定带超时的上下文，示例：

func download(ctx context.Context, s *session.Session, filename string) error {
    // 绑定30秒全局超时，可根据实际业务调整
    ctx, cancel := context.WithTimeout(ctx, 30*time.Second)
    defer cancel()

    // 后续所有S3请求都传入这个ctx
    _, err = svc.HeadObjectWithContext(ctx, &s3.HeadObjectInput{...})
    // ...
    n, err := downloader.Download(ctx, file, &s3.GetObjectInput{...})
}

2. 限制SDK最大重试次数 #

初始化session时配置最大重试次数，避免无限重试：

sess := session.Must(session.NewSession(&aws.Config{
    // ... 其他原有配置
    MaxRetries: aws.Int(3), // 最多重试3次
}))

3. 修正Region配置 #

如果使用官方AWS S3，填写对应存储桶的实际区域（如"us-east-1"）；如果使用S3兼容私有存储，填写任意合法区域字符串即可，比如：

Region: aws.String("us-east-1"),

4. 正确处理HeadObject的404错误 #

修改错误判断逻辑，提前识别key不存在的场景：

import "github.com/aws/aws-sdk-go/aws/awserr"

// ...
_, err = svc.HeadObjectWithContext(ctx, &s3.HeadObjectInput{
    Bucket: aws.String(srcAddr.Bucket),
    Key:    aws.String(filepath.Join(srcAddr.FilePath, filename)),
})
if err != nil {
    var aerr awserr.Error
    if errors.As(err, &aerr) && aerr.Code() == "NotFound" {
        return fmt.Errorf("file_not_found|filename=%s", filename)
    }
    return fmt.Errorf("head_object_fail|err=%w,filename=%s", err, filename)
}

5. 验证服务端响应 #

如果你使用的是非官方S3存储，确认服务端在key不存在时返回标准的404 NotFound错误码，避免SDK误判为可重试错误。

内容的提问来源于stack exchange，提问作者ccbhj