如何提升Python向AWS S3上传大文件的多段上传速度？求荐适配库

嘿，我之前也踩过S3大文件分段上传速度慢的坑，结合AWS官方最佳实践和实际开发经验，给你整理几个实用的优化方向和靠谱的工具库：

一、优化现有分段上传的核心方法 #

1. 调整分段大小与并发请求数 #

默认的小分段（比如5MB）会导致过多的HTTP请求，反而拖慢速度；而太大的分段（比如2GB+）则会增加重试成本。建议根据你的网络带宽调整：

• 分段大小设置在100MB-1GB之间（单个分段最大支持5GB，最后一段无限制）
• 并发请求数设置为5-20（根据CPU/网络负载调整，过高可能导致资源竞争）

用boto3的话可以这么配置：

import boto3
from botocore.config import Config

# 初始化带优化配置的S3客户端
s3_client = boto3.client(
    's3',
    config=Config(
        max_concurrent_requests=12,  # 并发请求数
        multipart_chunksize=100 * 1024 * 1024,  # 100MB分段
        retries={'max_attempts': 5}  # 合理的重试次数，避免无限等待
    )
)

2. 开启S3 Transfer Acceleration #

如果你的客户端和S3桶不在同一个AWS区域，开启Transfer Acceleration能通过AWS全球边缘节点加速上传，有效降低延迟。只需要在客户端配置中启用：

# 启用Transfer Acceleration
s3_client = boto3.client(
    's3',
    config=Config(use_accelerate_endpoint=True)
)

注意：需要先在S3桶的控制台开启Transfer Acceleration功能。

3. 利用VPC端点（仅限AWS内部资源） #

如果你的代码运行在EC2、EKS等AWS服务上，配置S3 VPC网关端点可以让流量走AWS内部网络，避免公网传输，不仅速度更快，还能节省流量费用。

4. 优化本地网络环境 #

• 关闭其他占用带宽的进程（比如下载、视频流）
• 确保客户端所在网络的上行带宽足够（1GB文件1分钟上传的话，带宽大概是138Mbps，你可以对比下实际上行带宽）

二、推荐的S3上传库 #

1. boto3内置的s3transfer模块 #

boto3的upload_file方法其实已经封装了分段上传的最佳实践，会自动判断文件大小（默认超过8MB就触发分段），比手动实现分段逻辑更高效。配合TransferConfig可以灵活调整参数：

from boto3.s3.transfer import TransferConfig

transfer_config = TransferConfig(
    multipart_threshold=8 * 1024 * 1024,  # 超过8MB启用分段
    max_concurrent_requests=10,
    multipart_chunksize=100 * 1024 * 1024
)

# 上传文件
s3_client.upload_file(
    'local_large_file.bin',
    'your-bucket-name',
    'remote_file_path.bin',
    Config=transfer_config
)

2. aioboto3（异步场景） #

如果你的代码是异步架构（比如FastAPI、aiohttp服务），用aioboto3配合异步上传方法，能更好地利用IO等待时间，提升并发上传效率：

import asyncio
import aioboto3
from botocore.config import Config

async def upload_large_file():
    config = Config(
        max_concurrent_requests=10,
        multipart_chunksize=100 * 1024 * 1024
    )
    async with aioboto3.client('s3', config=config) as s3:
        await s3.upload_file(
            'local_large_file.bin',
            'your-bucket-name',
            'remote_file_path.bin'
        )

asyncio.run(upload_large_file())

3. s3cmd（命令行/脚本调用） #

如果是在Shell脚本中使用，s3cmd是个高效的选择，它支持并发分段上传，只需要简单的命令：

s3cmd put --multipart-chunk-size-mb=100 --multipart-max-chunks=20 local_large_file.bin s3://your-bucket-name/

额外注意点 #

• 尽量选择离客户端地理位置最近的S3区域，减少网络延迟
• 确保服务器/容器有足够的CPU和内存来处理并发请求，避免资源瓶颈

内容的提问来源于stack exchange，提问作者Phong Vu