Ruby中如何按指定字节范围高效生成大文件分片供上传使用
实现方案
直接用基于pread的懒加载Enumerator实现part函数,完全满足不写临时文件、不全量加载内容的要求,还能天然解决多线程共享文件句柄的竞态问题。
完整可运行代码
# 单次读取的块大小,建议设为64KB~1MB,兼顾内存占用和系统调用开销 CHUNK_SIZE = 128 * 1024 # 128KB file = File.open("bigFile", "rb") requests = [ {url: "https://.../part1", from: 0, to: 20_000_000}, {url: "https://.../part2", from: 20_000_001, to: 40_000_000}, {url: "https://.../part3", from: 40_000_001, to: 54_184_279} ] results = requests.map do |request| Thread.start do # 修正原代码括号位置错误 HTTPX.post(request[:url], body: part(file, request[:from], request[:to])) end end.map(&:value) def part(file, from, to) total_remaining = to - from + 1 current_offset = from Enumerator.new do |yielder| while total_remaining.positive? # 计算本次需要读取的长度:取块大小和剩余待读长度的较小值 read_len = [CHUNK_SIZE, total_remaining].min # 用pread按指定偏移读取,不会修改原文件句柄的当前指针,多线程安全 chunk = file.pread(read_len, current_offset) break if chunk.nil? || chunk.empty? yielder << chunk # 更新偏移和剩余长度 read_bytes = chunk.bytesize current_offset += read_bytes total_remaining -= read_bytes end end end
核心原理说明
- 为什么用
pread而不是普通的seek + read?pread是系统提供的带偏移量的读取接口,完全不会修改原文件句柄的当前读写指针,多个线程同时对同一个File对象调用pread不会出现指针互相覆盖的竞态问题,不需要额外加锁,也不需要为每个分片单独打开文件句柄。 - 懒加载逻辑:
Enumerator只会在httpx迭代读取body时才调用一次pread读入固定大小的块,绝不会一次性加载整个分片或整个大文件到内存,完全符合效率要求。 - 无临时文件:
所有读取都直接从磁盘文件按偏移读入内存块,不需要落盘临时文件。
注意事项
- 不要随意调整CHUNK_SIZE过大(比如超过16MB),否则会导致内存占用过高;也不要过小(比如小于4KB),会导致系统调用次数过多降低性能。
- 如果第三方服务限制了上传并发数,不要直接对所有分片开线程,建议加并发数限制(比如用线程池),避免触发限流。
- 如果运行环境是非常老的Ruby版本(<1.9.3)不支持
pread,可以改成每个分片单独打开同一个文件的新句柄,再包装成IO读取逻辑,开销也很低。 - 如果第三方服务要求显式指定
Content-Length,可以在请求时手动添加头:HTTPX.post(request[:url], body: part(...), headers: { "Content-Length": (request[:to] - request[:from] + 1).to_s }),避免因为分块传输被服务拒绝。
内容的提问来源于stack exchange,提问作者user1277186
相关产品推荐
相关产品推荐

