如何用odbc_api获取查询结果并导入Polars DataFrame？

为了在真实数据上测试Rust，我想要连接ODBC数据库，目前已取得一些进展，但难以从cursor中获取输出。目前仅能实现打印200次'Hurray'，这并非我想要的效果，希望有人指导如何将数据导入Polars DataFrame。以下是我的代码：

fn main() {
    use odbc_api::{ConnectionOptions, Cursor, Environment};
    let connection_string = connection_string();
    let env = Environment::new().unwrap();
    let conn = env
        .connect_with_connection_string(&connection_string, ConnectionOptions::default())
        .unwrap();
    let result_set = conn
        .execute(&String::from("SELECT TOP 200 * FROM pub.table"), ())
        .unwrap();
    if let Some(mut cursor) = result_set {
        loop {
            match cursor.next_row() {
                Ok(Some(_cursor_row)) => {
                    println!("Hurray!")
                }
                Ok(None) => {
                    break;
                }
                Err(err) => {
                    eprintln!("Error while fetching next row: {:?}", err);
                    break;
                }
            }
        }
    } else {
        eprintln!("Result set is None");
    }
}

实现步骤 #

1. 添加依赖
   在Cargo.toml中添加所需依赖，启用odbc-api的stream特性以支持流处理：

   [dependencies]
   odbc-api = { version = "0.40", features = ["stream"] }
   polars = { version = "0.37", features = ["csv", "lazy"] }
   

2. 修改代码实现数据导入
   利用CursorStream将ODBC游标转换为Polars可识别的流，直接构建DataFrame：

   use odbc_api::{ConnectionOptions, Environment, stream::CursorStream};
   use polars::prelude::*;
   
   fn main() -> Result<(), Box<dyn std::error::Error>> {
       let connection_string = connection_string();
       let env = Environment::new()?;
       let conn = env.connect_with_connection_string(&connection_string, ConnectionOptions::default())?;
   
       // 执行查询获取结果集游标
       let result_set = conn.execute("SELECT TOP 200 * FROM pub.table", ())?;
       let Some(cursor) = result_set else {
           eprintln!("Result set is None");
           return Ok(());
       };
   
       // 将游标转为流并构建Polars DataFrame
       let stream = CursorStream::new(cursor);
       let df = DataFrame::from_stream(stream)?;
   
       // 验证数据：打印前5行
       println!("{}", df.head(Some(5)));
   
       Ok(())
   }
   
   // 替换为你的实际ODBC连接字符串生成逻辑
   fn connection_string() -> String {
       String::from("DRIVER={Your Driver};SERVER=your_server;DATABASE=your_db;UID=user;PWD=password")
   }
   

关键说明 #

• 流处理特性：odbc-api的stream特性提供的CursorStream，实现了Polars的PolarsStream trait，能自动处理行读取和类型映射，将ODBC数据类型转换为Polars支持的类型。
• 错误处理：用?替代unwrap()，更安全地处理连接、查询过程中的错误，避免程序意外panic。
• 数据验证：通过df.head(5)打印前5行，快速确认数据是否正确导入。

如果遇到特定类型映射问题，可以手动指定列类型或添加自定义转换逻辑，比如处理特殊日期格式、大文本字段等。

内容的提问来源于stack exchange，提问作者Hein Burgmans