使用AWS Ruby SDK读取S3 1.5GB大文件报broken pipe错误如何解决

直接调用Aws::S3::ObjectSummary#get方法会将整个1.5GB文件一次性加载到内存，单次HTTP请求耗时过长、内存占用过高，极易触发网络连接中断，就会抛出broken pipe错误，可通过以下方式解决：

• 方案1：直接下载到本地磁盘（最推荐，适配大文件场景）
  AWS SDK内置的download_file方法自动实现分块并发下载，不需要手动处理分片逻辑，默认支持断点续传，内存占用极低：

  # 直接下载到本地路径，SDK自动分块并发拉取
  most_recent_s3_object.download_file('local_target_file_path')
  

  如果调用download_file提示方法不存在，可以先将ObjectSummary转为完整的Object实例再操作，同时可根据网络情况自定义分块大小和并发数优化下载速度：

  s3_object = s3_resource.bucket(bucket_name).object(most_recent_s3_object.key)
  s3_object.download_file(
    'local_target_file_path',
    chunk_size: 20 * 1024 * 1024, # 单块大小设置为20MB，可自行调整
    thread_count: 5 # 并发下载线程数
  )
  

• 方案2：流式读取边下载边处理（不需要保存完整本地文件时使用）
  给get方法传入块回调，SDK会将收到的分片数据逐块传给回调处理，不会一次性加载整个文件到内存：

  most_recent_s3_object.get do |chunk|
    # 逐块处理数据，比如追加写入本地文件、流式解析内容等
    File.write('local_file', chunk, mode: 'a')
  end
  

• 方案3：调整客户端超时配置适配弱网环境
  如果网络环境较差，创建S3客户端时可以延长超时时间，避免连接被提前断开：

  s3_client = Aws::S3::Client.new(
    region: '你的AWS区域',
    http_read_timeout: 300, # 读超时设置为300秒（5分钟）
    http_idle_timeout: 60
  )
  s3_resource = Aws::S3::Resource.new(client: s3_client)
  

内容的提问来源于stack exchange，提问作者Praveen Kumar