如何使用Okio正确分块读取文件 实现动态大小的分片上传
现有实现的明显疏漏
- 重复的文件IO开销:当前逻辑每上传一个分片就重新打开文件流、按offset跳转位置。对于顺序读取的场景,完全可以保持同一个文件Source从头部一直读到尾部,省去每次重复打开流、长距离skip的IO开销——分片数越多,这部分浪费越明显。
- 边界场景下的空分片错误:当文件总大小恰好是分块大小的整数倍时,现有逻辑会在所有有效分片上传完成后,额外触发一次空内容的分片上传:此时文件指针已经到末尾,
request(chunkSize)返回false、read操作读到0字节,最终会把空请求体发给服务端,大概率触发接口校验失败。 - 无意义的内存拷贝:当前将Buffer内容
readByteArray()转成堆内字节数组构造RequestBody,等于把分片内容从Okio的内存块中完整拷贝到Java堆数组。完全可以利用OkHttp和Okio的原生集成能力直接把Buffer作为请求体数据源,省掉一次整分片大小的内存拷贝,降低GC压力。 - 类型溢出风险:offset、chunkSize相关的参数目前用int类型存储,单文件超过2GB时就会出现整数溢出,和实际分块上传需要支持的大文件场景不匹配。
- 块读取逻辑冗余:先
request(chunkSize)再read(buffer, chunkSize)的组合,实际和直接按块读取的语义重复,还容易因为request的预读逻辑引入判断偏差。
适配场景的正确实现思路
核心原则是只打开一次文件流,顺序逐块读取,不重复跳转位置,不做多余内存拷贝,精准判断最后一个分片边界:
- 全局只初始化一次文件的BufferedSource,从文件头部开始顺序推进读取位置,完全不需要记录/跳转offset。
- 每次从Source中读取最多chunkSize大小的内容到独立Buffer,记录实际读取到的字节数:
- 如果实际读取量为0,直接结束上传流程,不发空请求
- 如果实际读取量小于配置的chunkSize,这就是最后一个分片
- 直接使用当前Buffer构造RequestBody,不转成byte数组,实现流式上传
- 用long类型传递文件位置、分块大小,避免整数溢出
- 分片编号从0开始随读取动作自增,不需要额外计算
优化后的参考代码:
// 初始化阶段只打开一次文件Source,不要在递归里反复创建 private void startChunkedUpload(long chunkSize, @Nonnull CompletableFuture<Foo> future) { File file = ...; String url = ...; BufferedSource sharedSource = Okio.buffer(Okio.source(file)); // 从第0个分片开始上传 uploadNextChunk(sharedSource, chunkSize, 0, future, url); } private void uploadNextChunk(BufferedSource sharedSource, long chunkSize, int blockNumber, @Nonnull CompletableFuture<Foo> future, String baseUrl) { try { Buffer chunkBuffer = new Buffer(); // 从共享Source中读取最多chunkSize的字节到当前分片的Buffer long readByteCount = sharedSource.read(chunkBuffer, chunkSize); // 读到0字节说明文件已经全部读完,直接完成 if (readByteCount == 0) { sharedSource.close(); future.complete(null); return; } // 读的字节数小于块大小,说明这是最后一个分片 boolean isFinal = readByteCount < chunkSize; // 直接用Buffer构造RequestBody,不需要转成byte数组 RequestBody chunkBody = chunkBuffer::writeTo; // 拼接查询参数,避免手动字符串拼接的转义问题 String uploadUrl = baseUrl + "&block_number=" + blockNumber; fileUploadService.uploadApp(uploadUrl, chunkBody) .whenComplete((response, throwable) -> { if (throwable != null) { try { sharedSource.close(); } catch (IOException e) { // 异常关闭时忽略IO错误,不影响主流程的异常返回 } future.completeExceptionally(throwable); return; } if (isFinal) { try { sharedSource.close(); } catch (IOException e) { future.completeExceptionally(e); return; } future.complete(null); return; } // 继续上传下一个分片,blockNumber自增 uploadNextChunk(sharedSource, chunkSize, blockNumber + 1, future, baseUrl); }); } catch (IOException e) { try { sharedSource.close(); } catch (IOException closeException) { // 合并异常信息 e.addSuppressed(closeException); } future.completeExceptionally(e); } }
这里的RequestBody用
chunkBuffer::writeTo的方式构造,是直接复用Okio的写入逻辑:OkHttp在发送请求体时,会直接把Buffer里的内容通过网络写出,全程不需要把内容拷贝到Java堆的byte数组里,10MB的分片就能省掉一次10MB的内存拷贝,对于百MB到GB级的文件,能大幅降低内存占用和GC停顿。
因为是顺序读取文件,整个流程的内存占用永远只和单分片大小挂钩——哪怕上传1GB的文件,只要单分片是10MB,常驻内存就只有10MB左右,完全满足不把全文件加载到内存的需求。
这种异步回调的递归方式,不会造成Java栈溢出:因为每次的方法调用都是在OkHttp的IO响应线程上触发,不是在同一个方法栈上嵌套调用,哪怕分上千片也不会撑爆栈。
内容的提问来源于stack exchange,提问作者mez.pahlan
相关产品推荐
相关产品推荐

