C++使用aws-sdk-cpp无缓存上传本地文件指定片段到S3/Minio

需求说明 #

• 从单个本地文件生成多个独立S3对象，无需将文件数据读入内存缓冲区
• 每个目标对象对应三个参数：AWS侧目标存储名、本地文件读取起始偏移量、待上传字节长度

示例场景 #

本地文件大小1MB，需生成两个独立对象：

• 对象1键名为name1，偏移0字节、长度100字节，对应本地文件0~100字节内容
• 对象2键名为name2，偏移200字节、长度500字节，对应本地文件200~700字节内容
  存储服务使用本地部署的Minio。

基线代码（完整文件上传可正常运行） #

PutObjectRequest request;
request.WithBucket("my_bucket_name").WithKey("file_path_in_aws");
std::shared_ptr<Aws::IOStream> fileData = Aws::MakeShared<Aws::FStream>("some_alloc_tag", 
   "path_file_to_file_to_upload", std::ios_base::in | std::ios_base::binary);

request.SetBody(fileData);        
PutObjectOutcome outcome = m_pS3Client->PutObject(request);
if (outcome.IsSuccess() == false)
    //print error message
    std::cout << outcome.GetError().GetMessage().c_str();

问题复现 #

尝试直接操作Aws::FStream跳转偏移+设置ContentLength实现片段上传，代码如下：

std::shared_ptr<Aws::IOStream> fileData = Aws::MakeShared<Aws::FStream>("some_alloc_tag", 
     "path_file_to_file_to_upload", std::ios_base::in | std::ios_base::binary);

request.SetBody(data);
request.SetContentLength(size1);
data->seekg(offset1, std::ios_base::beg);

调用PutObject失败，SDK报错为Encountered network error when sending http request，Minio侧错误日志如下：

Error: read tcp 127.0.0.1:9000->127.0.0.1:49811: wsarecv: An existing connection was forcibly closed by the remote host. (*net.OpError)
       5: cmd\fs-v1-helpers.go:323:cmd.fsCreateFile()
       4: cmd\fs-v1.go:1173:cmd.(*FSObjects).putObject()
       3: cmd\fs-v1.go:1089:cmd.(*FSObjects).PutObject()
       2: cmd\object-handlers.go:1631:cmd.objectAPIHandlers.PutObjectHandler()
       1: net\http\server.go:2069:http.HandlerFunc.ServeHTTP()

移除seekg和ContentLength设置逻辑后，可正常上传完整文件。

失败原因 #

AWS SDK for C++的HTTP发送层默认会从输入流读取数据直到遇到EOF，你虽然设置了ContentLength，但底层发送完指定长度的数据后仍会尝试从流中读取更多内容确认结束，而文件流跳转偏移后剩余可读取总长度大于设置的ContentLength，导致发送逻辑和约定的HTTP body长度不匹配，最终触发连接强制断开。

可行解决方案 #

方案1：自定义长度限制流（最贴合需求） #

无需加载文件内容到内存，只需封装一层过滤流限制单次读取的最大字节数即可：

• 自定义流类继承Aws::IOStream，构造时传入原始文件流、起始偏移、读取长度
• 内部维护已读取字节计数器，当累计读取量达到指定长度时直接返回EOF
• 使用时先将原始文件流seek到指定偏移，再将自定义流实例传给PutObjectRequest，同时设置ContentLength为对应片段长度
  该方案完全复用原生PutObject逻辑，性能损耗极低，无额外内存开销。

方案2：单分块分块上传实现（无需自定义流） #

你提到的UploadPartRequest可适配该场景，把每个独立片段作为仅含一个分块的分块上传任务处理即可，步骤如下：

1. 调用CreateMultipartUpload接口初始化分块上传任务，目标Bucket和Key设置为待生成独立对象的对应参数
2. 构造UploadPartRequest，填入初始化返回的UploadId，PartNumber固定为1，设置ContentLength为片段长度
3. 将原始文件流seek到对应偏移后传入UploadPartRequest执行上传
4. 分块上传成功后调用CompleteMultipartUpload提交任务，即可得到完整的独立S3对象
   该方式完全基于SDK原生接口，不需要额外开发自定义流，Minio对分块上传的兼容度很高，可直接使用。

内容的提问来源于stack exchange，提问作者Maria B