Rust中如何将Arrow RecordBatch零拷贝转换为Polars DataFrame？

你碰到的类型不匹配，本质是Polars 和 arrow_odbc 依赖的 Arrow 数组类型分属不同 crate：

• Series::from_arrow 要求的是 Polars 内部导出的 polars_arrow::array::Array（封装在 Box<dyn Array> 中）
• arrow_odbc 返回的是官方 Apache Arrow 库的 arrow::array::Array（封装在 Arc<dyn Array> 中）
  两者虽然逻辑上都是 Arrow 数组，但属于不同的类型体系，无法直接传递。

Polars 提供了官方 Arrow 类型到自身类型的桥接工具，通过 polars::export::polars_arrow::interop::from_arrow_array 函数可以实现零拷贝转换——因为底层内存布局完全兼容，只是做了一层类型封装转换。

use arrow_odbc::{odbc_api::{Environment, ConnectionOptions}, OdbcReaderBuilder};
use arrow::record_batch::RecordBatch;
use polars::prelude::*;
// 引入Polars的Arrow桥接函数
use polars::export::polars_arrow::interop::from_arrow_array;
use anyhow::Result;

const CONNECTION_STRING: &str = "...";

pub fn test() -> Result<()> {
    let odbc_environment = Environment::new()?;
     
    let connection = odbc_environment.connect_with_connection_string(
        CONNECTION_STRING,
        ConnectionOptions::default()
    )?;

    let cursor = connection.execute("SELECT * FROM Backcast_Power_Plant_Map", ())?.unwrap();

    let arrow_record_batches = OdbcReaderBuilder::new().build(cursor)?;

    fn record_batch_to_dataframe(batch: &RecordBatch) -> Result<DataFrame, PolarsError> {
        let schema = batch.schema();
        let mut columns = Vec::with_capacity(batch.num_columns());
        for (i, column) in batch.columns().iter().enumerate() {
            // 将官方Arrow数组转换为Polars兼容的数组（零拷贝）
            let polars_compatible_array = from_arrow_array(column.as_ref())?;
            // 用转换后的数组创建Series
            columns.push(Series::from_arrow(
                &schema.fields().get(i).unwrap().name(), 
                polars_compatible_array
            )?);
        }
        Ok(DataFrame::from_iter(columns))
    }

    for batch in arrow_record_batches {
        dbg!(record_batch_to_dataframe(&batch?));
    }

    Ok(())
}

• 确保 Cargo.toml 中各依赖的 Arrow 版本对齐，避免版本冲突：

  polars = { version = "0.35.0", features = ["arrow"] }
  arrow-odbc = { version = "3.0.0", features = ["arrow"] }
  arrow = "5.0.0" # 版本需与polars、arrow-odbc依赖的arrow版本一致
  

• from_arrow_array 不会复制数据，只是转换了数组的类型封装，完全符合你零拷贝的需求。

内容的提问来源于stack exchange，提问作者Pat Blinds