使用deltalake-core读取DeltaTable时缺失_last_checkpoint文件报错如何解决？

问题根源 #

deltalake-core默认会优先读取_last_checkpoint文件快速定位日志，即便显式指定version=0，如果自定义ObjectStore在文件不存在时返回的不是标准NotFound错误，或者LogStore未正确处理无检查点的情况，库会直接抛出异常，而非降级读取对应版本的日志文件。

解决方案 #

1. 修正自定义ObjectStore的错误返回

确保自定义ObjectStore的get方法在文件不存在时，返回标准的ObjectStoreError::NotFound错误。只有捕获到这个特定错误，deltalake-core才会跳过_last_checkpoint，转而读取指定版本的日志。

示例代码片段：

use object_store::path::Path;
use object_store::ObjectStoreError;

// 在自定义ObjectStore的get方法中
async fn get(&self, path: &Path) -> Result<GetResult, ObjectStoreError> {
    if !self.file_exists(path).await {
        return Err(ObjectStoreError::NotFound {
            path: path.clone().into(),
        });
    }
    // 其他业务逻辑...
}

2. 自定义LogStore并重写get_last_checkpoint方法

如果不想依赖ObjectStore的错误处理，可以自定义LogStore，主动返回无检查点的结果，跳过读取_last_checkpoint文件的步骤。

示例代码：

use deltalake::log_store::{LogStore, CheckpointMetadata};
use deltalake::DeltaTableError;
use object_store::ObjectStore;
use std::sync::Arc;

struct CustomLogStore {
    inner: Arc<dyn ObjectStore>,
}

#[async_trait::async_trait]
impl LogStore for CustomLogStore {
    // 实现其他必需的LogStore方法（如get_log_entries、list_files等）

    async fn get_last_checkpoint(&self) -> Result<Option<CheckpointMetadata>, DeltaTableError> {
        // 直接返回None，告知库不存在检查点文件
        Ok(None)
    }
}

在构建DeltaTable时指定自定义LogStore：

dtbuilder = dtbuilder.with_log_store(Arc::new(CustomLogStore { inner: your_object_store }));
dtbuilder = dtbuilder.with_version(0);
let dt = dtbuilder.load().await?;

3. 验证版本0日志文件存在

确保_delta_log目录下存在00000000000000000000.json文件，这是版本0的基础日志文件，没有它即使跳过检查点也无法加载表。

内容的提问来源于stack exchange，提问作者thhappy