如何低成本在AWS S3上传大量小对象？可使用替代云服务

针对你提到的>10M个~5KB小对象上传请求成本过高的问题，结合当前云服务的新特性，核心优化思路是减少请求次数，以下是具体方案：

AWS S3 原生优化方案 #

• 本地打包后批量上传：将多个小对象打包成100MB-1GB的归档文件（如ZIP、Tar，结构化数据推荐Parquet），再通过S3 Multipart Upload上传。10M个5KB对象总容量约50GB，打包成100MB/个仅需500次PUT请求，原10M次请求的$50成本可降至几美分。下载时无需解压整个归档，用S3 Select直接读取单个小对象内容，适配每月下载的需求。
• 匹配存储类降低综合成本：因每年上传一次、每月下载一次，选择S3 STANDARD_IA（低频访问存储），存储成本比标准存储低约60%，且下载请求成本在可接受范围内，配合打包后的低请求数，整体成本大幅下降。
• 避免不必要的操作：不要用S3 Batch Operations合并已上传的小对象（会产生额外读请求成本），直接在上传前完成本地打包。

其他云服务替代方案 #

• 阿里云OSS：逻辑与S3一致，本地打包后上传至OSS IA存储层，用OSS Select读取归档内的单个文件，请求成本和存储成本均有优化。
• Google Cloud Storage (GCS)：将小对象打包后上传至Nearline存储类（适合每月访问1次的场景），存储成本比标准存储低约70%，同时GCS的原生版本管理可便捷保留每年的新版本。
• Azure Blob Storage：打包成块Blob上传至Cool存储层，存储成本优势明显，且支持直接读取归档内的部分内容，无需全量下载。

关键细节 #

• 打包格式选型：优先选支持随机读取的格式（如带索引的Tar、Parquet），避免因读取单个小对象而下载整个大文件。
• 版本标识：打包文件名添加年份后缀（如data_2024.tar），或利用云服务的对象版本管理功能，确保新旧版本数据隔离。

内容的提问来源于stack exchange，提问作者Rizhiy