如何使用Ruby SDK并行下载S3中的大文件？

AWS Ruby SDK（aws-sdk-s3）自带原生并行下载能力，无需依赖第三方parallel gem，以下是两种实用方案：

1. 高层封装API：一键启用并行下载 #

SDK提供的download_file方法内置了分块并行下载逻辑，只需通过配置参数开启即可，无需手动处理分块与合并：

require 'aws-sdk-s3'

# 初始化S3资源客户端
s3 = Aws::S3::Resource.new(region: '你的区域ID')
bucket = s3.bucket('目标存储桶名称')
large_object = bucket.object('超大文件的S3路径')

# 配置并行下载参数并执行
large_object.download_file(
  '/本地保存路径/文件名',
  download_file: {
    parallelism: 6,    # 并发下载的分块数量
    part_size: 15 * 1024 * 1024  # 每个分块的大小（这里设为15MB）
  }
)

该方法会自动将大文件拆分多个分块并行下载，完成后自动合并为完整文件，还内置了分块失败重试机制。

2. 底层API手动实现：自定义并行逻辑 #

如果需要更灵活的控制（比如自定义重试、分块策略），可以基于get_object的range参数手动实现分块并行下载：

require 'aws-sdk-s3'
require 'thread'

# 初始化S3客户端
s3_client = Aws::S3::Client.new(region: '你的区域ID')
bucket_name = '目标存储桶名称'
object_key = '超大文件的S3路径'
local_save_path = '/本地保存路径/文件名'

# 配置参数
part_size = 10 * 1024 * 1024  # 单分块大小10MB
max_concurrency = 5           # 最大并发数

# 获取文件总大小
file_size = s3_client.head_object(bucket: bucket_name, key: object_key).content_length
total_parts = (file_size.to_f / part_size).ceil

# 构建分块任务队列
task_queue = Queue.new
(0...total_parts).each do |part_idx|
  start_byte = part_idx * part_size
  end_byte = [start_byte + part_size - 1, file_size - 1].min
  task_queue << { idx: part_idx, start: start_byte, end: end_byte }
end

# 存储分块内容，用互斥锁保证线程安全
part_contents = {}
mutex = Mutex.new

# 启动并发线程处理任务
threads = []
max_concurrency.times do
  threads << Thread.new do
    until task_queue.empty?
      task = task_queue.pop(true) rescue nil
      next unless task

      # 下载单个分块
      response = s3_client.get_object(
        bucket: bucket_name,
        key: object_key,
        range: "bytes=#{task[:start]}-#{task[:end]}"
      )

      mutex.synchronize { part_contents[task[:idx]] = response.body.read }
    end
  end
end

# 等待所有线程完成
threads.each(&:join)

# 合并分块到本地文件
File.open(local_save_path, 'wb') do |file|
  (0...total_parts).each { |idx| file.write(part_contents[idx]) }
end

注意事项 #

• 并发数与分块大小需要根据网络带宽、文件大小调整：过高的并发可能触发AWS请求频率限制，过小的分块会增加请求开销，建议并发数设为3-10，分块大小设为10-20MB。
• 确保IAM账号拥有s3:GetObject权限。
• 高层API的download_file默认会重试失败分块，手动实现时建议添加重试逻辑提升稳定性。

内容的提问来源于stack exchange，提问作者testing09