未知总流大小时如何拆分InputStream为多个BoundedInputStream
joss库分片终止逻辑优化实现
原有实现的痛点
该库原本的分片拆分逻辑,完全依赖调用方提前传入的输入流总大小做终止判断,核心的终止判断代码为:
protected boolean done() { return currentSegment * segmentationSize > inputStreamSize; }
这种设计存在明确的局限性:
- 当输入流是无固定长度的动态数据源(比如实时管道流、未提前落盘的网络响应流)时,调用方根本无法准确提供总大小,分片流程会直接失效
- 只要传入的总大小和实际流长度有偏差,要么会提前截断流内容,要么会生成完全没有有效数据的空分片,造成冗余处理
- 强制要求调用方提供总大小的设计,拉高了接入的门槛
核心优化思路
彻底移除对外部传入总大小的依赖,把流程终止的判断逻辑,从“按预算计算大小”改成“实际探测底层输入流的可读状态”——只要底层流已经读到末尾、没有更多数据,就直接终止分片生成流程。
具体代码调整
类成员变量调整
先移除原来依赖的inputStreamSize字段,新增底层流耗尽的状态标记:
protected Long segmentationSize = 5368709120L; protected Long currentSegment = 0L; private InputStream inputStream; private boolean inputExhausted = false; // 标记底层流是否已读取到末尾
重写done()核心判断逻辑
把原来依赖大小计算的判断,替换为实际流状态探测:
protected boolean done() throws IOException { // 已经标记流耗尽的情况,直接终止流程 if (inputExhausted) { return true; } // 单字节探测底层流的可读状态:read()返回-1代表流已到末尾 int peekByte = inputStream.read(); if (peekByte == -1) { inputExhausted = true; return true; } // 把刚才探测读出来的单字节塞回流里,避免丢失有效数据 inputStream = new PushbackInputStream(inputStream, 1); ((PushbackInputStream) inputStream).unread(peekByte); return false; }
兼容原有流程逻辑
- 原有
getNextSegment()和uploadSegmentedObjects()的流程不需要做改动,只要done()返回true,就会自动停止生成分片、终止循环 - 原有
createSegment()方法的逻辑完全兼容:基于探测处理后的输入流生成BoundedInputStream,依旧保持setPropagateClose(false)的配置,不会提前关闭底层源流
实现注意事项
- 单字节探测的开销极低,不会因为频繁读流造成性能损失
- PushbackInputStream做单字节回退的缓冲区只占1字节内存,没有额外内存开销
- 新增的
inputExhausted标记是为了避免每次循环都重复做流末尾探测,一旦确认流耗尽就直接返回终止状态,减少不必要的IO操作 - 这套逻辑对已经提前提供了准确总大小的场景完全兼容:当最后一个分片读取完所有剩余内容后,下一次循环的探测就会读到流末尾,自动终止流程,不会生成无意义的空分片
内容的提问来源于stack exchange,提问作者Azianese
相关产品推荐
相关产品推荐

