如何使用Java Apache Arrow将VectorSchemaRoot数据复制到另一个实例？

Arrow提供了多种方式将一个VectorSchemaRoot的数据复制到另一个，具体取决于源和目标的结构是否一致：

1. 源与目标结构完全一致 #

方法一：直接使用copy()方法 #

这是最简洁的方式，会直接创建一个与源结构、数据完全相同的新VectorSchemaRoot：

// sourceRoot为已加载数据的VectorSchemaRoot实例
VectorSchemaRoot targetRoot = sourceRoot.copy();

底层会自动复制所有向量的内容，无需额外处理。

方法二：用VectorUnloader + VectorLoader #

如果需要更灵活的流程（比如后续要修改批次数据），可以通过卸载-加载的方式实现：

// 1. 从源Root导出数据批次
VectorUnloader unloader = new VectorUnloader(sourceRoot);
ArrowRecordBatch batch = unloader.getRecordBatch();

// 2. 初始化目标Root（复用源的Schema）
VectorSchemaRoot targetRoot = VectorSchemaRoot.create(sourceRoot.getSchema(), sourceRoot.getAllocator());

// 3. 将数据批次加载到目标Root
VectorLoader loader = new VectorLoader(targetRoot);
loader.load(batch);

// 务必释放批次资源
batch.close();

2. 源与目标结构不一致 #

如果目标VectorSchemaRoot的字段数量、类型有差异，需要手动匹配字段并复制：

// 假设targetSchema是目标结构的Schema实例
try (VectorSchemaRoot targetRoot = VectorSchemaRoot.create(targetSchema, sourceRoot.getAllocator())) {
    // 遍历源字段，匹配目标中同名字段
    for (Field sourceField : sourceRoot.getSchema().getFields()) {
        Field targetField = targetRoot.getSchema().findField(sourceField.getName());
        if (targetField != null) {
            ValueVector sourceVec = sourceRoot.getVector(sourceField.getName());
            ValueVector targetVec = targetRoot.getVector(targetField.getName());
            
            // 复制向量数据（需确保类型兼容）
            targetVec.copyFrom(sourceVec);
        }
    }
    // 同步目标Root的行数
    targetRoot.setRowCount(sourceRoot.getRowCount());
}

注意：字段类型必须兼容（如IntVector复制到IntVector），否则copyFrom会抛出异常。

核心注意事项 #

• 资源释放：所有Arrow向量和VectorSchemaRoot都需手动释放，建议用try-with-resources语句管理，避免内存泄漏。
• 类型校验：复制前确保源和目标向量类型兼容，必要时先进行类型转换。
• 行数同步：手动复制字段时，必须显式设置目标Root的行数，否则数据无法正常读取。

内容的提问来源于stack exchange，提问作者jjbskir