使用Polars+PyIceberg对接SQLite目录时，如何读取静态表？

核心结论 #

你不需要手动写函数查找最新的metadata.json——PyIceberg结合SQLite Catalog本身就提供了官方、可靠的方式来加载表并获取最新元数据，这也是Iceberg Catalog的核心设计目的之一。

正确实现方式 #

既然你已经成功对接了SQLite Catalog，应该直接通过Catalog加载表，而不是手动遍历文件：

from pyiceberg.catalog import load_catalog
import polars as pl
from pathlib import Path

# 初始化SQLite Catalog
catalog = load_catalog(
    "sqlite_catalog",
    type="sqlite",
    uri=str(warehouse_path / "dis.db"),  # 指向你的SQLite数据库文件
    warehouse=str(warehouse_path)  # 你的warehouse根路径
)

# 加载目标表（格式：[命名空间.]表名，这里直接用表名zorgproducten）
iceberg_table = catalog.load_table("zorgproducten")

# 用Polars扫描表
df = pl.scan_iceberg(iceberg_table).collect()

为什么原有方式不够可靠？ #

你通过文件创建时间找最新metadata的方式存在两个问题：

1. 依赖文件系统的时间戳，可能出现时间同步错误导致选到旧文件
2. 不符合Iceberg的规范设计——Iceberg的表元数据版本是由Catalog统一管理的，表本身会记录最新metadata的位置，不需要手动遍历

特殊场景：获取最新metadata文件路径 #

如果因为特殊需求需要直接拿到最新metadata.json的路径，也可以通过PyIceberg的Table对象直接获取，这比手动遍历更可靠：

# 从已加载的Table对象获取最新metadata的路径
latest_metadata_path = iceberg_table.metadata_location

针对疑问的明确答复 #

• PyIceberg/Iceberg规范有官方方法：通过Catalog加载表就是官方推荐的方式，Catalog会自动处理元数据版本的跟踪和加载
• SQLite Catalog完全支持此功能：SQLite作为Iceberg的轻量级Catalog实现，本身就负责管理表的元数据版本，包括最新metadata的指向

内容的提问来源于stack exchange，提问作者dkapitan