Java如何高效读取Artifactory中超大Zip包内的指定小文件

现有实现的局限性 #

你当前使用ZipInputStream的方案本质是顺序读取HTTP流，只有当目标文件在压缩包靠前位置时能节省少量流量，若inventory.xml在压缩包靠后位置，仍然需要传输几乎整个压缩包的内容，达不到“无需下载整个包”的核心需求。

高效实现方案 #

核心原理是利用HTTP Range请求+Zip文件结构特性实现按需拉取：

• Zip文件的所有文件元数据（文件名、起始偏移量、文件大小）统一存储在压缩包末尾的*中央目录（Central Directory）*区域，不需要遍历整个包就能拿到所有文件的位置信息
• Artifactory标准配置默认支持HTTP Range请求，支持按需拉取文件的指定字节区间

具体实现步骤：

1. 发送HEAD请求获取整个Zip包的总字节大小
2. 发送Range请求拉取Zip包末尾的128KB数据（覆盖绝大多数场景下的中央目录大小），解析中央目录找到inventory.xml对应的起始偏移量和文件大小
3. 再次发送Range请求，仅拉取inventory.xml对应的字节区间，直接解析内容即可

整个流程传输的总数据量仅为几百KB，即便原Zip包大小为几十GB，也完全不需要下载全量内容。

已知文件坐标对效率的提升 #

如果已经提前拿到inventory.xml在Zip包中的起始字节偏移量和文件大小，可以直接跳过上述的步骤1、2，仅发送一次Range请求拉取对应区间的内容，耗时可以进一步缩短50%以上，完全不需要读取任何多余内容，是效率最高的实现方式。

优化后代码示例 #

import java.net.HttpURLConnection;
import java.net.URL;
import org.apache.commons.compress.archivers.zip.ZipArchiveEntry;
import org.apache.commons.compress.archivers.zip.ZipFile;

// 依赖Apache Commons Compress库更方便解析Zip中央目录
public class FetchZipEntry {
    public static void fetchInventoryXml(String artifactoryUrl) throws Exception {
        // 第一步：获取压缩包总大小
        URL url = new URL(artifactoryUrl);
        HttpURLConnection headCon = (HttpURLConnection) url.openConnection();
        headCon.setRequestMethod("HEAD");
        long totalSize = headCon.getContentLengthLong();
        headCon.disconnect();

        // 第二步：拉取末尾128KB解析中央目录
        long rangeStart = Math.max(0, totalSize - 128 * 1024);
        HttpURLConnection dirCon = (HttpURLConnection) url.openConnection();
        dirCon.setRequestProperty("Range", "bytes=" + rangeStart + "-" + (totalSize - 1));
        byte[] dirBytes = dirCon.getInputStream().readAllBytes();
        dirCon.disconnect();

        // 解析中央目录找到inventory.xml的偏移量，此处省略commons-compress解析逻辑
        long entryStart = 0; // 解析得到的inventory.xml起始偏移
        long entrySize = 0; // 解析得到的inventory.xml文件大小

        // 第三步：拉取目标文件内容直接处理
        HttpURLConnection entryCon = (HttpURLConnection) url.openConnection();
        entryCon.setRequestProperty("Range", "bytes=" + entryStart + "-" + (entryStart + entrySize - 1));
        try (var inputStream = entryCon.getInputStream()) {
            // 此处直接处理inventory.xml内容
        }
        entryCon.disconnect();
    }
}

内容的提问来源于stack exchange，提问作者grigory mendel