使用Apache DataFusion查询Parquet文件遇对象存储错误求助

错误原因 #

DataFusion 默认未注册本地文件系统的对象存储，导致无法识别 file:// 开头的本地文件路径，从而抛出该错误。

修复步骤 #

1. 添加本地对象存储依赖
   在项目的 Cargo.toml 中补充 datafusion-object-store-local 依赖（版本需与 datafusion 保持一致）：

[dependencies]
datafusion = "0.41.0" # 替换为你实际使用的版本
datafusion-object-store-local = "0.41.0"
parquet = "41.0.0"
tokio = { version = "1.0", features = ["full"] }

2. 修改代码注册本地文件系统
   在代码中导入本地文件系统实现，并注册到 SessionContext 的运行时环境中，同时简化路径写法：

use datafusion::prelude::*;
use datafusion_object_store_local::local::LocalFileSystem;
use std::sync::Arc;

#[tokio::main]
async fn main() -> datafusion::error::Result<()> {
    let ctx = SessionContext::new();

    // 注册本地文件系统对象存储，让DataFusion能识别本地路径
    let local_fs = Arc::new(LocalFileSystem::new());
    ctx.runtime_env().register_object_store("", local_fs);

    // 配置Parquet文件格式与列表选项
    let file_format = ParquetFormat::default().with_enable_pruning(Some(true));
    let listing_options = ListingOptions::new(Arc::new(file_format))
        .with_table_partition_cols(vec![])
        .with_file_extension(".parquet")
        .with_collect_stat(true);

    // 直接使用相对路径注册列表表
    ctx.register_listing_table(
        "my_table",
        "./resources/user",
        listing_options,
        None,
        None,
    )
    .await
    .unwrap();

    // 执行查询并打印结果
    let df = ctx.sql("SELECT * FROM my_table LIMIT 1").await?;
    df.show().await?;

    Ok(())
}

额外说明 #

• 不需要手动拼接 file:// 前缀，直接传入相对路径或绝对路径即可，注册本地对象存储后DataFusion会自动处理。
• 确保运行代码时的工作目录是项目根目录，否则相对路径会失效。

内容的提问来源于stack exchange，提问作者user824624