使用Rust delta-rs读取S3 Delta Lake表查询报文件不存在错误如何解决

你能成功读取表元数据是因为deltalake::open_table会自动识别S3 URI并初始化对应的S3存储后端读取_delta_log目录下的事务日志。但查询时DataFusion执行上下文默认没有注册S3存储后端，会尝试从本地文件系统查找Parquet文件，因此触发文件不存在错误。

1. 给DataFusion执行上下文注册S3存储后端
   你需要将Delta表已经初始化好的S3存储后端注册到DataFusion的运行时环境中，让查询时可以正确识别s3://协议的文件路径。
2. 补全AWS相关环境变量
   除了密钥之外，通常还需要指定AWS区域，避免因为区域不匹配导致的资源访问异常。
3. （可选）确认S3路径下的Parquet文件真实存在，且你的密钥拥有该文件的读取权限。

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>>  {
    // 补全所有必要的AWS环境变量
    std::env::set_var("AWS_ACCESS_KEY_ID", AWS_ACCESS_KEY_ID);
    std::env::set_var("AWS_SECRET_ACCESS_KEY", AWS_SECRET_ACCESS_KEY);
    std::env::set_var("AWS_REGION", "你的S3桶所在区域，比如us-east-1");
    // 如果使用非AWS S3兼容服务（如MinIO），还需要加下面两行
    // std::env::set_var("AWS_ENDPOINT_URL", "你的服务地址");
    // std::env::set_var("AWS_ALLOW_HTTP", "true");

    let table_uri = "s3://dev-evandro/common/lakehouse-sync/parquet/payments/chargebee/customer/";
    let table = deltalake::open_table(table_uri).await.unwrap();
    println!("{}", table);

    let mut ctx = datafusion::execution::context::ExecutionContext::new();
    // 核心修改：注册S3存储后端到DataFusion上下文
    let object_store = table.object_store();
    ctx.runtime_env()
        .register_object_store("s3", "dev-evandro", object_store.clone());
    
    ctx.register_table("test_table", std::sync::Arc::new(table))?;
    let batches = ctx
        .sql("SELECT * FROM test_table LIMIT 1")?
        .collect()
        .await?;

    let batch = deltalake::datafusion::arrow::util::pretty::pretty_format_batches(&batches).unwrap();
    println!("{}", batch);
    Ok(())        
}

如果修改后仍然报错，可以检查以下两点：

• 确认Delta表对应的Parquet文件没有被手动删除，你可以在_delta_log目录下的0版本json事务日志里，查看add字段对应的文件路径，拼接表前缀后确认S3上该文件存在。
• 如果你使用的delta-rs和datafusion版本跨度过大，可能存在API不兼容问题，建议使用delta-rs官方文档中对应绑定的datafusion版本。

内容的提问来源于stack exchange，提问作者Evandro Lippert