You need to enable JavaScript to run this app. Ruby中如何按指定字节范围高效生成大文件分片供上传使用
优惠活动
大模型
产品
解决方案
定价
更多

Ruby中如何按指定字节范围高效生成大文件分片供上传使用

实现方案

直接用基于pread的懒加载Enumerator实现part函数,完全满足不写临时文件、不全量加载内容的要求,还能天然解决多线程共享文件句柄的竞态问题。

完整可运行代码

# 单次读取的块大小,建议设为64KB~1MB,兼顾内存占用和系统调用开销
CHUNK_SIZE = 128 * 1024 # 128KB

file = File.open("bigFile", "rb")
requests = [
  {url: "https://.../part1", from: 0, to: 20_000_000},
  {url: "https://.../part2", from: 20_000_001, to: 40_000_000},
  {url: "https://.../part3", from: 40_000_001, to: 54_184_279}
]

results = requests.map do |request|
  Thread.start do
    # 修正原代码括号位置错误
    HTTPX.post(request[:url], body: part(file, request[:from], request[:to]))
  end
end.map(&:value)

def part(file, from, to)
  total_remaining = to - from + 1
  current_offset = from

  Enumerator.new do |yielder|
    while total_remaining.positive?
      # 计算本次需要读取的长度:取块大小和剩余待读长度的较小值
      read_len = [CHUNK_SIZE, total_remaining].min
      # 用pread按指定偏移读取,不会修改原文件句柄的当前指针,多线程安全
      chunk = file.pread(read_len, current_offset)
      break if chunk.nil? || chunk.empty?

      yielder << chunk
      # 更新偏移和剩余长度
      read_bytes = chunk.bytesize
      current_offset += read_bytes
      total_remaining -= read_bytes
    end
  end
end

核心原理说明

  • 为什么用pread而不是普通的seek + read?
    pread是系统提供的带偏移量的读取接口,完全不会修改原文件句柄的当前读写指针,多个线程同时对同一个File对象调用pread不会出现指针互相覆盖的竞态问题,不需要额外加锁,也不需要为每个分片单独打开文件句柄。
  • 懒加载逻辑:
    Enumerator只会在httpx迭代读取body时才调用一次pread读入固定大小的块,绝不会一次性加载整个分片或整个大文件到内存,完全符合效率要求。
  • 无临时文件:
    所有读取都直接从磁盘文件按偏移读入内存块,不需要落盘临时文件。

注意事项

  • 不要随意调整CHUNK_SIZE过大(比如超过16MB),否则会导致内存占用过高;也不要过小(比如小于4KB),会导致系统调用次数过多降低性能。
  • 如果第三方服务限制了上传并发数,不要直接对所有分片开线程,建议加并发数限制(比如用线程池),避免触发限流。
  • 如果运行环境是非常老的Ruby版本(<1.9.3)不支持pread,可以改成每个分片单独打开同一个文件的新句柄,再包装成IO读取逻辑,开销也很低。
  • 如果第三方服务要求显式指定Content-Length,可以在请求时手动添加头:HTTPX.post(request[:url], body: part(...), headers: { "Content-Length": (request[:to] - request[:from] + 1).to_s }),避免因为分块传输被服务拒绝。

内容的提问来源于stack exchange,提问作者user1277186

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 14:24:03