使用原生boto3复制Minio桶对象到AWS S3桶报AccessDenied如何解决

你当前使用的s3.copy()方法无法实现跨存储服务复制，核心逻辑是：CopyObject是AWS S3侧发起的服务端复制操作，S3服务需要直接能访问源存储的对象地址，你传入的SourceClient参数仅用于boto3本地验证源对象存在，不会把Minio的访问凭证、自定义端点信息传递给AWS S3服务端。AWS默认会把你传入的源路径s3://minio_bucket/example.jpg识别为AWS官方S3存储桶，而非你的私有Minio服务，自然无法访问，触发AccessDenied报错。

方案1：本地流式中转（全场景兼容，中小文件优先） #

只要运行代码的机器能同时访问Minio和S3即可使用，对象直接在内存中转，不需要本地落盘，是最稳定的实现方案。

import boto3
from botocore.exceptions import ClientError

# 初始化AWS S3客户端
s3_session = boto3.session.Session(region_name="MY_REGION")
s3_client = s3_session.client(
    's3',
    aws_access_key_id='MY_ACCESS_KEY',
    aws_secret_access_key='MY_SECRET_KEY'
)

# 初始化Minio客户端
minio_session = boto3.session.Session(region_name="MY_REGION")
minio_config = boto3.session.Config(signature_version='s3v4')
minio_client = minio_session.client(
    's3',
    endpoint_url='http://my_minio_public_server:9000',
    aws_access_key_id='username',
    aws_secret_access_key='password',
    config=minio_config
)

# 存储桶和对象配置
minio_bucket = "minio_bucket"
s3_bucket = "s3_bucket_name"
object_key = "example.jpg"

try:
    # 从Minio读取对象流
    minio_resp = minio_client.get_object(Bucket=minio_bucket, Key=object_key)
    # 直接上传到S3
    s3_client.put_object(
        Bucket=s3_bucket,
        Key=object_key,
        Body=minio_resp['Body'].read()
    )
    print("对象复制成功")
except ClientError as e:
    print(f"操作失败：{e}")

该方案优点是兼容性极强，不需要Minio暴露到公网，也不需要修改桶权限策略；缺点是传输会占用运行代码机器的带宽，单文件超过1G时建议搭配分块上传逻辑优化，避免内存溢出。

方案2：服务端复制（仅适合Minio公网可访问场景） #

如果你的Minio服务对外公网可访问，可以生成Minio对象的预签名URL，直接交给AWS S3做服务端拉取，不需要占用本地带宽。

# 生成Minio对象的预签名访问URL，有效期1小时
presigned_url = minio_client.generate_presigned_url(
    'get_object',
    Params={'Bucket': minio_bucket, 'Key': object_key},
    ExpiresIn=3600
)
# 调用S3服务端复制接口直接拉取
s3_client.copy_object(
    Bucket=s3_bucket,
    Key=object_key,
    CopySource=presigned_url
)

该方案优点是不占用本地带宽，传输逻辑完全由AWS服务端执行；缺点是要求Minio公网可访问，且预签名URL存在有效期，超大文件复制可能触发超时。

• 批量复制场景可以先调用minio_client.list_objects_v2遍历Minio桶内的所有对象，循环执行复制逻辑即可
• 复制时如果需要保留对象的自定义元数据、Content-Type等属性，可以从Minio返回的响应头中提取对应字段，传入S3的put_object参数中

内容的提问来源于stack exchange，提问作者aly khaled