You need to enable JavaScript to run this app. 如何使用Okio正确分块读取文件 实现动态大小的分片上传
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Okio正确分块读取文件 实现动态大小的分片上传

现有实现的明显疏漏
  • 重复的文件IO开销:当前逻辑每上传一个分片就重新打开文件流、按offset跳转位置。对于顺序读取的场景,完全可以保持同一个文件Source从头部一直读到尾部,省去每次重复打开流、长距离skip的IO开销——分片数越多,这部分浪费越明显。
  • 边界场景下的空分片错误:当文件总大小恰好是分块大小的整数倍时,现有逻辑会在所有有效分片上传完成后,额外触发一次空内容的分片上传:此时文件指针已经到末尾,request(chunkSize)返回false、read操作读到0字节,最终会把空请求体发给服务端,大概率触发接口校验失败。
  • 无意义的内存拷贝:当前将Buffer内容readByteArray()转成堆内字节数组构造RequestBody,等于把分片内容从Okio的内存块中完整拷贝到Java堆数组。完全可以利用OkHttp和Okio的原生集成能力直接把Buffer作为请求体数据源,省掉一次整分片大小的内存拷贝,降低GC压力。
  • 类型溢出风险:offset、chunkSize相关的参数目前用int类型存储,单文件超过2GB时就会出现整数溢出,和实际分块上传需要支持的大文件场景不匹配。
  • 块读取逻辑冗余:先request(chunkSize)再read(buffer, chunkSize)的组合,实际和直接按块读取的语义重复,还容易因为request的预读逻辑引入判断偏差。
适配场景的正确实现思路

核心原则是只打开一次文件流,顺序逐块读取,不重复跳转位置,不做多余内存拷贝,精准判断最后一个分片边界:

  1. 全局只初始化一次文件的BufferedSource,从文件头部开始顺序推进读取位置,完全不需要记录/跳转offset。
  2. 每次从Source中读取最多chunkSize大小的内容到独立Buffer,记录实际读取到的字节数:
    • 如果实际读取量为0,直接结束上传流程,不发空请求
    • 如果实际读取量小于配置的chunkSize,这就是最后一个分片
  3. 直接使用当前Buffer构造RequestBody,不转成byte数组,实现流式上传
  4. 用long类型传递文件位置、分块大小,避免整数溢出
  5. 分片编号从0开始随读取动作自增,不需要额外计算

优化后的参考代码:

// 初始化阶段只打开一次文件Source,不要在递归里反复创建
private void startChunkedUpload(long chunkSize, @Nonnull CompletableFuture<Foo> future) {
    File file = ...;
    String url = ...;
    BufferedSource sharedSource = Okio.buffer(Okio.source(file));
    // 从第0个分片开始上传
    uploadNextChunk(sharedSource, chunkSize, 0, future, url);
}

private void uploadNextChunk(BufferedSource sharedSource, long chunkSize, int blockNumber, 
                             @Nonnull CompletableFuture<Foo> future, String baseUrl) {
    try {
        Buffer chunkBuffer = new Buffer();
        // 从共享Source中读取最多chunkSize的字节到当前分片的Buffer
        long readByteCount = sharedSource.read(chunkBuffer, chunkSize);
        
        // 读到0字节说明文件已经全部读完,直接完成
        if (readByteCount == 0) {
            sharedSource.close();
            future.complete(null);
            return;
        }

        // 读的字节数小于块大小,说明这是最后一个分片
        boolean isFinal = readByteCount < chunkSize;
        // 直接用Buffer构造RequestBody,不需要转成byte数组
        RequestBody chunkBody = chunkBuffer::writeTo;
        
        // 拼接查询参数,避免手动字符串拼接的转义问题
        String uploadUrl = baseUrl + "&block_number=" + blockNumber;
        fileUploadService.uploadApp(uploadUrl, chunkBody)
            .whenComplete((response, throwable) -> {
                if (throwable != null) {
                    try {
                        sharedSource.close();
                    } catch (IOException e) {
                        // 异常关闭时忽略IO错误,不影响主流程的异常返回
                    }
                    future.completeExceptionally(throwable);
                    return;
                }
                if (isFinal) {
                    try {
                        sharedSource.close();
                    } catch (IOException e) {
                        future.completeExceptionally(e);
                        return;
                    }
                    future.complete(null);
                    return;
                }
                // 继续上传下一个分片,blockNumber自增
                uploadNextChunk(sharedSource, chunkSize, blockNumber + 1, future, baseUrl);
            });

    } catch (IOException e) {
        try {
            sharedSource.close();
        } catch (IOException closeException) {
            // 合并异常信息
            e.addSuppressed(closeException);
        }
        future.completeExceptionally(e);
    }
}

这里的RequestBody用chunkBuffer::writeTo的方式构造,是直接复用Okio的写入逻辑:OkHttp在发送请求体时,会直接把Buffer里的内容通过网络写出,全程不需要把内容拷贝到Java堆的byte数组里,10MB的分片就能省掉一次10MB的内存拷贝,对于百MB到GB级的文件,能大幅降低内存占用和GC停顿。
因为是顺序读取文件,整个流程的内存占用永远只和单分片大小挂钩——哪怕上传1GB的文件,只要单分片是10MB,常驻内存就只有10MB左右,完全满足不把全文件加载到内存的需求。
这种异步回调的递归方式,不会造成Java栈溢出:因为每次的方法调用都是在OkHttp的IO响应线程上触发,不是在同一个方法栈上嵌套调用,哪怕分上千片也不会撑爆栈。

内容的提问来源于stack exchange,提问作者mez.pahlan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 20:36:04