如何使用Pentaho API实现内存中解压文件（不写入磁盘）

可行性说明 #

完全可以实现。Pentaho基于Java生态，你可以借助Java的java.util.zip.ZipInputStream类结合Pentaho的脚本API，在自定义脚本步骤中完成内存内的ZIP解压，避免将文件写入磁盘。自带的Unzip步骤确实会落地文件，因此需要用脚本方式替代。

快速实现方案：使用Modified Java Script Value步骤（适合新手） #

这个步骤允许你编写JavaScript代码调用Java API，无需开发自定义插件，上手成本低。

操作流程 #

1. 添加Text File Input步骤，读取ZIP文件的二进制内容（配置时选择读取二进制，不要按文本解析）。
2. 添加Modified Java Script Value步骤，编写脚本解析ZIP流并提取内部文件内容。
3. 后续步骤可直接使用内存中提取的文件内容进行处理。

示例代码 #

在Modified Java Script Value步骤中，输入以下代码（假设已将ZIP文件的二进制数据读入名为zip_binary的字段）：

// 将二进制字段转为输入流
var zipBytes = zip_binary.getBytes();
var inputStream = new java.io.ByteArrayInputStream(zipBytes);
var zipInputStream = new java.util.zip.ZipInputStream(inputStream);

var zipEntry;
// 遍历ZIP中的每个条目
while ((zipEntry = zipInputStream.getNextEntry()) != null) {
    // 跳过目录条目
    if (!zipEntry.isDirectory()) {
        // 读取当前条目的内容到内存
        var buffer = java.lang.reflect.Array.newInstance(java.lang.Byte.TYPE, 1024);
        var outputStream = new java.io.ByteArrayOutputStream();
        var len;
        while ((len = zipInputStream.read(buffer)) != -1) {
            outputStream.write(buffer, 0, len);
        }
        // 将提取的内容转为字符串（文本文件可指定编码，如UTF-8；二进制文件可直接保留字节数组）
        var fileContent = outputStream.toString("UTF-8");
        
        // 将内容存入新字段，供后续步骤使用
        var newRow = createRowCopy(getOutputRowMeta().size());
        var idx = getOutputRowMeta().size();
        getOutputRowMeta().addValueMeta(new org.pentaho.di.core.row.value.ValueMetaString("extracted_content"));
        newRow[idx] = fileContent;
        putRow(getOutputRowMeta(), newRow);
        
        // 关闭流释放资源
        outputStream.close();
    }
    zipInputStream.closeEntry();
}
zipInputStream.close();
inputStream.close();

注意事项 #

• 若ZIP内包含大文件，需注意内存占用，可调整缓冲区大小或分块处理逻辑。
• 处理二进制文件（如图片、音频）时，不要转成字符串，直接保留ByteArrayOutputStream的字节数组即可。
• Pentaho默认包含所需的Java类，无需额外引入依赖。

进阶方案：自定义Java步骤 #

如果脚本步骤性能不足，或需要更复杂的复用逻辑，可以开发自定义Pentaho步骤，核心逻辑与上述脚本一致，只是封装成可复用的插件。

内容的提问来源于stack exchange，提问作者mesompi