如何将ClickHouse返回的Arrow数据高效转换为Polars DataFrame？

核心问题解决：Arc转Box的类型兼容 #

你遇到的Arc转Box问题，本质是Polars的from_arrow系列方法期望字段类型为Box<Field>，但Arrow IPC Reader返回的字段是Arc<Field>。通过标准类型转换即可解决，同时Polars提供了更便捷的原生读取方式，无需手动处理该转换。

高效转换方案 #

方案1：用Polars原生ArrowReader直接读取（推荐） #

Polars提供了和读取Parquet/Feather一致的原生Arrow读取能力，通过ArrowReader trait可以直接从Arrow IPC流中解析出DataFrame，无需手动迭代RecordBatch，代码简洁且性能最优：

use std::error::Error;
use std::io::Cursor;
use reqwest::Client as HttpClient;
use polars::prelude::*;

#[tokio::main]
async fn main() -> Result<(), Box<dyn Error>> {
    factor_returns_arrow().await?;
    Ok(())
}

async fn factor_returns_arrow() -> Result<(), Box<dyn Error>> {
    let clickhouse_url = "http://localhost:8000";
    let query = "SELECT * FROM factor_returns FORMAT Arrow";
    let client = HttpClient::new();
    let response = client.get(clickhouse_url)
        .query(&[(&"query", query)])
        .send()
        .await?;
    
    if response.status().is_success() {
        let bytes = response.bytes().await?;
        let cursor = Cursor::new(bytes);
        
        // 直接从Arrow流读取为DataFrame
        let df = ArrowReader::new(cursor)
            .finish()?;
        
        println!("{}", df);
    } else {
        eprintln!("Error: {:?}", response.status());
    }
    
    Ok(())
}

方案2：手动处理RecordBatches转换 #

如果需要对RecordBatch做中间处理，可手动将收集到的Vec<RecordBatch>转换为DataFrame，同时处理字段类型转换：

// 接你原代码中收集完record_batches后的逻辑
use polars::arrow::ArrowReader;

// 将Arc<Field>转换为Box<Field>
let schema = arrow::datatypes::Schema::new(
    fields.iter().cloned().map(|f| f.into()).collect()
);

// 从RecordBatches创建DataFrame
let df = ArrowReader::from_record_batches(&schema, record_batches)
    .finish()?;

println!("{}", df);

关键说明 #

• 原生支持确认：Polars确实提供了类似Parquet/Feather的原生Arrow读取能力，ArrowReader就是对应实现，封装了底层Arrow IPC解析逻辑。
• 性能优势：直接用ArrowReader从流读取是最高效的方式，避免了中间Vec<RecordBatch>的内存开销，数据可直接解析到Polars内部存储结构。
• 类型转换细节：Arc<Field>转Box<Field>可通过clone().into()完成，这是Rust标准库为Arc<T>实现的转换能力（当T: Clone时）。

内容的提问来源于stack exchange，提问作者Trevor Seibert