跨上下文视图引用DataFrame失效：Delta表PyArrow Dataset复用方案

问题根源 #

你创建视图时依赖的df是函数内的局部临时关系对象，函数执行完毕后该对象会被Python垃圾回收机制销毁。DuckDB的视图仅保存查询逻辑（即SELECT * FROM df），而非物化数据，后续查询视图时会尝试查找已不存在的df，因此抛出CatalogException。

可行解决方案 #

方案一：注册PyArrow Dataset到DuckDB连接 #

将PyArrow Dataset直接注册为当前DuckDB连接内的持久化表对象，再基于该表创建视图。视图将绑定到连接中的Dataset，而非临时变量，同时保留谓词下推能力：

import duckdb
from deltalake import DeltaTable
conn = duckdb.connect("./data.duckdb")

def create_view(conn):
    delta_path = "../utils/sf1/delta_partition/customer"
    dt = DeltaTable(delta_path)
    dataset = dt.to_pyarrow_dataset()
    # 将PyArrow Dataset注册为连接内的表
    conn.register('delta_customer', dataset)
    # 基于注册的表创建视图
    conn.sql("CREATE OR REPLACE VIEW test AS SELECT * FROM delta_customer")
    return conn

conn = create_view(conn)

# 查询视图可正常触发谓词下推
print(conn.sql("SELECT * FROM test WHERE c_mktsegment = 'BUILDING' and c_nationkey=15").explain())

conn.close()

方案二：使用DuckDB Delta扩展（适配dbt-duckdb场景） #

DuckDB官方提供Delta Lake扩展，可直接在SQL中读取Delta表，无需依赖Python的deltalake库。这种方式视图定义不依赖任何临时变量，更适合dbt多节点跨作用域的场景，原生支持谓词下推与分区剪枝：

import duckdb
conn = duckdb.connect("./data.duckdb")

def create_view(conn):
    delta_path = "../utils/sf1/delta_partition/customer"
    # 首次运行需安装扩展，后续可省略INSTALL语句
    conn.sql("INSTALL delta;")
    conn.sql("LOAD delta;")
    # 直接基于Delta表路径创建视图
    conn.sql(f"CREATE OR REPLACE VIEW test AS SELECT * FROM delta_scan('{delta_path}')")
    return conn

conn = create_view(conn)

print(conn.sql("SELECT * FROM test WHERE c_mktsegment = 'BUILDING' and c_nationkey=15").explain())

conn.close()

注意事项 #

• 方案一中的注册表仅在当前连接生命周期内有效，若dbt节点使用独立连接，需在每个节点中重新注册；
• 方案二中需确保DuckDB环境能访问到Delta表的文件路径，dbt-duckdb中建议通过配置变量管理路径，避免硬编码。

内容的提问来源于stack exchange，提问作者milicevica23