Amazon S3分块上传vs先拆分文件再上传：Python大文件上传技术问询

你的理解完全正确！S3的分块上传（Multipart Upload）核心逻辑就是把大文件拆成多个独立的数据块（每个块最小5MB，最后一块大小不限），你可以根据需求选择串行或并行上传这些块，等所有块上传完成后，向S3发送完成请求，S3就会自动把所有块拼接成完整文件。要是某个块上传失败，只需要重新传这个块就行，不用从头再来，这对超大型文件来说特别友好。

分块上传 vs 手动拆分文件上传的核心差异 #

• S3端的自动管理：分块上传时，S3会全程跟踪每个块的上传状态，最后由S3负责拼接成完整文件；而手动拆分文件后上传，你得自己管理所有拆分后的小文件，还要手动在S3上合并（比如用copy_object操作或者下载到本地合并），不仅麻烦还容易出错。
• 断点续传能力：分块上传天生支持断点续传，上传中断后只需要补传未成功的块；手动拆分上传的话，你得自己实现断点续传逻辑（比如记录哪些文件已上传），复杂度高很多。
• 失败成本差异：分块上传单个块失败，只重传这一个块；手动拆分的话，要是某个拆分文件上传失败，得重传整个拆分文件（哪怕它是100MB），效率低不少。
• API优化支持：S3的分块上传API有专门的并发优化，而手动上传多个文件只是普通的对象上传，没有针对大文件的特殊优化。
• 存储冗余问题：手动拆分后上传，S3上会留下一堆拆分文件，除非你合并后手动删除；分块上传完成后，S3只会保留最终的完整文件，中间的块会被自动清理。

Python环境下的最优上传方案 #

推荐用AWS官方的boto3库，它提供了两种分块上传的实现方式，能满足不同场景需求：

1. 自动分块上传（最简单，推荐大多数场景） #

boto3的upload_file方法会自动判断文件大小，默认超过8MB就会启用分块上传，还支持并行上传，你只需要几行代码就能搞定：

import boto3

s3 = boto3.client('s3')

# 自动分块上传，可通过TransferConfig调整参数
s3.upload_file(
    '/path/to/your/large/file',
    'your-bucket-name',
    'target-s3-key',
    Config=boto3.s3.transfer.TransferConfig(
        multipart_threshold=1024*1024*5,  # 超过5MB就触发分块
        max_concurrency=10,               # 最大并发上传数
        multipart_chunksize=1024*1024*50  # 每个块的大小设为50MB
    )
)

这个方法的好处是无需手动管理分块、并发、断点续传，boto3已经帮你封装好了所有逻辑，适合绝大多数普通场景。

2. 手动分块上传（更灵活，适合定制化需求） #

如果你需要更精细的控制（比如自定义块的上传顺序、记录每个块的上传状态、处理特殊错误），可以手动调用分块上传的API：

import boto3
import os

s3 = boto3.client('s3')
bucket_name = 'your-bucket-name'
object_key = 'target-s3-key'
file_path = '/path/to/your/large/file'
chunk_size = 50 * 1024 * 1024  # 每块50MB

# 初始化分块上传
response = s3.create_multipart_upload(Bucket=bucket_name, Key=object_key)
upload_id = response['UploadId']

parts = []
file_size = os.path.getsize(file_path)
with open(file_path, 'rb') as f:
    part_number = 1
    while True:
        data = f.read(chunk_size)
        if not data:
            break
        # 上传单个块
        response = s3.upload_part(
            Bucket=bucket_name,
            Key=object_key,
            PartNumber=part_number,
            UploadId=upload_id,
            Body=data
        )
        parts.append({
            'PartNumber': part_number,
            'ETag': response['ETag']
        })
        part_number += 1

# 完成分块上传
s3.complete_multipart_upload(
    Bucket=bucket_name,
    Key=object_key,
    UploadId=upload_id,
    MultipartUpload={'Parts': parts}
)

如果想进一步提升速度，可以结合concurrent.futures实现多线程并行上传块。

额外优化建议 #

• 调整块大小：建议把块大小设置在10MB-100MB之间，太大的话单个块上传失败重传成本高，太小的话请求数太多会增加开销。
• 合理设置并发数：根据你的网络带宽调整max_concurrency，不要设置过高，避免网络拥堵。
• 开启传输加速：如果你的网络到S3的延迟较高，可以启用S3 Transfer Acceleration，初始化客户端时设置use_accelerate_endpoint=True即可通过AWS全球边缘节点加速上传。

内容的提问来源于stack exchange，提问作者Vinod Chelladurai