Java调用外部扫描工具致InputStream达EOF,无法写入文件如何处理
问题本质原因
- 你代码里的核心bug是:第一次调用
httpcon.getInputStream()拿到网络流后,直接把整个流内容传给IOUtils.toByteArray()消费到EOF,这时候TCP连接上的所有传输内容已经被全部拉取完毕。后续你再次调用httpcon.getInputStream()拿到的流句柄,对应的剩余数据长度已经是0,不管是用Channel包装还是直接读写,都没有内容可以写入文件,自然生成的文件是0字节。 - 你之前尝试的BufferedInputStream、Channel包装方案全部失效的原因是:原生网络流本身是单向一次性消费的,BufferedInputStream的mark/reset能力只能在自身内部缓冲范围内做流位置回退,一旦全量内容被读完、缓冲内容被释放,reset操作会直接失败;而且你两次从同一个HTTP连接拿的流句柄是分别独立的,根本不存在共享缓冲的可能,自然没法把第一次读走的内容再读回来。
适配不改扫描工具的零侵入解决方案
核心思路是把一次性的网络流内容,提前持久化到可重复读取的本地载体上,再分别供扫描工具、文件写入流程使用,完全规避原生网络流不能重复读的问题,不需要对现有扫描工具做任何修改。
根据业务场景的文件大小,可以选择两种落地实现:
- 小文件场景(单文件大小远小于JVM堆内存阈值):直接把网络流内容读入字节数组缓存,后续所有消费都基于这个缓存生成独立输入流
- 大文件场景(文件大小超过堆内存可承载范围):先把网络流写入系统临时目录的临时文件,扫描校验通过后再把临时文件迁移到目标存储路径,避免堆内存溢出
小文件场景适配代码
FileOutputStream fos = null; try { log.info(masterId + " : DOWNLOADING FILE FROM [ " + url + " ]"); HttpURLConnection httpcon = (HttpURLConnection) urlConnection; // 一次性拉取全量网络流内容到内存缓存 byte[] fileContent = IOUtils.toByteArray(httpcon.getInputStream()); // 用缓存生成独立的输入流传给扫描工具,这个输入流消费到EOF也不会影响原始缓存内容 if (!scanTool.scan(new ByteArrayInputStream(fileContent))) { // 扫描不通过直接退出,不执行文件写入 return 0; } // 扫描通过后直接把缓存内容写入目标文件,不存在流定位失效问题 fos = new FileOutputStream(filePath); fos.write(fileContent); fos.getFD().sync(); return 1; } catch (FileNotFoundException ex) { // 原有异常处理逻辑 } finally { // 补充资源关闭逻辑,避免资源泄漏 if (fos != null) { IOUtils.closeQuietly(fos); } }
注意事项:
- 传给扫描工具的
ByteArrayInputStream是基于内存字节数组实现的可重复读流,不管扫描工具怎么消费这个流,都不会修改内存里的原始字节数组内容- 大文件场景可以把内存缓存替换为临时文件逻辑:接收网络流时直接写入
Files.createTempFile()生成的临时文件,之后把临时文件的输入流传给扫描工具校验,通过后再用Files.move()把临时文件移动到目标路径即可,全程不会占用过高堆内存- 不要尝试给原生网络流加mark/reset能力,网络流属于单向传输的一次性资源,一旦超出缓冲区范围标记,重置操作会直接失败。
内容的提问来源于stack exchange,提问作者mwKART
相关产品推荐
相关产品推荐

