从兼容S3的源向Cloud Storage传输遇MissingRegion问题求助

问题现象 #

从非亚马逊的兼容S3存储服务向Cloud Storage传输任务失败，无法列出源端对象。Agent日志报错：

W0111 06:49:13.002952 8 helpers.go:465 got unknown FailureType: UNKNOWN_FAILURE, MissingRegion: could not find region configuration

已按官方配置指南操作，且源端存储可通过gsutil等其他S3客户端正常访问。

问题原因 #

Transfer Agent使用的AWS SDK for Go v2要求必须配置区域，且无默认值；但部分兼容S3的存储服务（如MinIO、Hitachi Content Platform）本身不需要区域配置，导致SDK初始化时因缺少区域参数报错。

已尝试但无效的操作 #

• 在Docker运行Agent时设置AWS_REGION、AWS_DEFAULT_REGION环境变量
• 挂载本地~/.aws/config文件到容器中

解决方法 #

1. 强制指定环境变量并确保生效 #

运行Docker容器时，明确设置AWS_REGION为任意合法的AWS区域值（例如us-east-1），即使源存储不需要区域。示例命令：

docker run -e AWS_REGION=us-east-1 [其他Agent运行参数]

注意：需确保容器内没有其他配置文件（如.aws/config）覆盖该环境变量。

2. 调整Agent的SDK初始化代码（若可自定义） #

如果能修改Transfer Agent的代码，在加载SDK配置时显式通过config.WithRegion指定区域，与环境变量配合使用。示例代码：

import (
    "context"
    "github.com/aws/aws-sdk-go-v2/config"
)

func main() {
    // 显式指定区域，同时环境变量AWS_REGION需同步设置
    cfg, err := config.LoadDefaultConfig(context.TODO(), config.WithRegion("us-east-1"))
    if err != nil {
        panic(err)
    }
    // 后续使用cfg初始化S3客户端
}

关键说明 #

对于无区域要求的S3兼容存储，任意合法的AWS区域值都可满足SDK的配置要求，不会影响与源存储的通信。

内容的提问来源于stack exchange，提问作者DaveyDevOps