如何将arrow2 Chunk类型数据转换为Polars DataFrame/ChunkedArray

Polars 底层原生基于 arrow2 实现，转换过程不需要做序列化/反序列化，也没有额外内存拷贝，只要版本匹配可以直接复用 arrow2 数组的内存。

前置依赖配置 #

首先确认Cargo.toml里的依赖版本对齐，避免ABI不兼容问题，你可以通过cargo tree | grep arrow2查看实际引入的arrow2版本，保证polars依赖的arrow2版本和你项目里直接引入的arrow2版本完全一致：

[dependencies]
arrow2 = { version = "0.17", features = ["io_odbc", "io_parquet"] }
polars = { version = "0.33", features = ["arrow2"] }
anyhow = "1.0" # 可替换为你项目使用的错误处理库

完整转换代码（Vec<Result<Chunk<Box<dyn Array>>>> 转 DataFrame） #

use arrow2::{array::Array, chunk::Chunk, datatypes::Schema};
use polars::prelude::*;
use anyhow::Result;

pub fn chunks_to_polars_df(
    schema: Schema,
    chunks: Vec<Result<Chunk<Box<dyn Array>>>>,
) -> Result<DataFrame> {
    // 解包所有Result，遇到错误直接返回
    let chunks = chunks.into_iter().collect::<Result<Vec<_>, _>>()?;

    // 校验Chunk列数和Schema定义一致
    let col_count = schema.fields.len();
    for (chunk_idx, chunk) in chunks.iter().enumerate() {
        if chunk.len() != col_count {
            anyhow::bail!("第{}个Chunk列数为{}，与Schema定义的{}列不匹配", chunk_idx, chunk.len(), col_count);
        }
    }

    let mut series_col = Vec::with_capacity(col_count);
    for (col_idx, field) in schema.fields.iter().enumerate() {
        // 收集当前列在所有Chunk中的数组
        let col_arrays: Vec<Box<dyn Array>> = chunks
            .iter()
            .map(|chunk| chunk[col_idx].clone())
            .collect();

        // 零拷贝构造Series：数据来源可信时用unchecked版本跳过重复类型校验，性能更高
        let series = unsafe {
            Series::_from_arrow_unchecked(
                &field.name,
                col_arrays,
                &field.data_type,
            )
        }?;
        series_col.push(series);
    }

    Ok(DataFrame::new(series_col)?)
}

单个Result<Chunk<Box<dyn Array>>> 转 ChunkedArray 方法 #

ChunkedArray是强类型结构，转换时需要先解包Result拿到Chunk，再按列取出数组，downcast到对应具体的arrow2数组类型后直接构造即可，同样是零拷贝：

// 示例：将Chunk中第一列Int32类型数组转换为Int32Chunked
pub fn chunk_to_chunkedarray(res_chunk: Result<Chunk<Box<dyn Array>>>) -> Result<Int32Chunked> {
    let chunk = res_chunk?;
    let col_array = chunk.into_arrays().remove(0);
    // downcast到对应arrow2具体类型
    let int32_arr = col_array
        .as_any()
        .downcast_ref::<arrow2::array::Int32Array>()
        .ok_or_else(|| anyhow::anyhow!("数组类型不匹配，预期为Int32Array"))?;
    // 构造ChunkedArray
    Ok(Int32Chunked::from_arrow_array("列名", int32_arr))
}

注意事项 #

• 如果你对数据来源的类型正确性没有把握，可以把_from_arrow_unchecked替换为Series::try_from_arrow_chunks，Polars会做全量类型校验，不需要unsafe块。
• 基础类型、嵌套类型（List/Struct/Map等）的转换逻辑完全一致，Polars原生支持所有arrow2的逻辑类型。
• 转换全程没有内存拷贝，Polars直接持有arrow2数组的内存所有权，性能和原生读取数据到Polars无差异。

内容的提问来源于stack exchange，提问作者katrocitus