使用delta-rs读取S3桶Delta Lake表时parse_uri返回InvalidSchema错误怎么办

核心原因 #

你碰到的InvalidSchema错误来自两个问题叠加：

• deltalake 0.4.0默认没有开启S3适配特性，源码中cfg_if判断没有命中S3特性分支，直接返回协议不支持错误
• rust-s3的bucket.url()返回的是https://开头的HTTP访问地址，不是delta-rs要求的s3://协议格式路径

解决步骤 #

1. 开启deltalake的S3特性 #

修改你的Cargo.toml中deltalake依赖配置，开启S3相关特性：

deltalake = { version = "0.4.0", features = ["s3-rustls"] }
# 如果需要使用native-tls可以替换为 ["s3"]

2. 手动生成符合要求的S3协议URI #

不需要通过rust-s3的Bucket实例获取地址，直接按照s3://{桶名}/{表在桶内的路径}格式拼接URI即可：
举个例子：如果你的Delta表存放在名为test-bucket的桶的data/user_delta路径下，对应的URI就是s3://test-bucket/data/user_delta

3. 修正后的代码示例 #

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>>  {
    // delta-rs会自动读取环境变量/配置中的AWS认证信息，无需额外初始化rust-s3的Bucket实例
    let s3_bucket = "替换为你的桶名";
    // 如果Delta表在桶根目录，此处填空字符串即可
    let table_path = "替换为桶内Delta表的路径，比如data/delta_table";
    let delta_uri = format!("s3://{}/{}", s3_bucket, table_path);

    match deltalake::parse_uri(&delta_uri){
        Ok(uri) => println!("{}", uri.path()),
        Err(e) => println!("{}", e)
    }

    // 验证URI正常后就可以直接读取Delta表
    // let table = deltalake::open_table(&delta_uri).await?;
    Ok(())        
}

补充说明 #

如果你的S3是兼容S3协议的自建存储（比如MinIO），可以在打开表的时候通过DeltaTableConfig配置endpoint，不需要额外依赖rust-s3库处理连接。

内容的提问来源于stack exchange，提问作者Evandro Lippert