基于Databricks DLT实现JDBC增量表转Delta格式的报错咨询

1. 解决 NameError: name 'table' is not defined #

DLT 中没有全局可用的 @table 装饰器，必须使用 @dlt.table，且要先导入 dlt 模块：

import dlt

之后直接用 @dlt.table() 修饰你的函数即可，不能省略 dlt 前缀。

2. 解决 TABLE_OR_VIEW_NOT_FOUND 找不到 daily_batch 表 #

这个问题通常是表的访问路径、权限或元数据同步导致的，按以下步骤排查解决：

步骤1：指定表的完整访问标识符 #

如果 daily_batch 属于 Unity Catalog 或 Hive Metastore 的某个 catalog/schema，DLT 流水线的默认 catalog/schema 可能和它不一致，读表时必须明确写出完整的三部分路径：

@dlt.table(name="final_jdbc_delta_copy")
def stream_from_daily_batch():
    return (
        spark.readStream
            .format("delta")
            .option("skipChangeCommits", "true")
            .table("your_catalog.your_schema.daily_batch")  # 替换为实际的catalog和schema
    )

不确定路径的话，可以先在 Databricks Notebook 里执行 DESCRIBE EXTENDED daily_batch，查看表的完整标识符和存储路径。

步骤2：改用存储路径直接读取（绕过元数据问题） #

如果是外部表或元数据同步延迟，直接用表的物理存储路径读取更可靠：

@dlt.table(name="final_jdbc_delta_copy")
def stream_from_daily_batch():
    return (
        spark.readStream
            .format("delta")
            .option("skipChangeCommits", "true")
            .load("/dbfs/path/to/daily_batch")  # 替换为实际的存储路径
    )

步骤3：检查 DLT 流水线的权限 #

• 如果是 Unity Catalog 表：确保 DLT 流水线使用的服务主体（Service Principal）拥有 daily_batch 表的 SELECT 权限，执行以下 SQL 授权：

  GRANT SELECT ON TABLE your_catalog.your_schema.daily_batch TO `your-dlt-sp@your-domain.com`;
  

• 如果是 DBFS/云存储路径：确认 DLT 流水线的角色对该路径有读权限，可在 Databricks 控制台的路径 ACL 设置中配置。

步骤4：刷新表元数据（可选） #

如果表是刚创建或修改的，可能存在元数据延迟，可在 DLT 代码开头添加刷新语句：

spark.sql("REFRESH TABLE your_catalog.your_schema.daily_batch")

额外提醒：skipChangeCommits 参数的适配 #

因为你的 daily_batch 是覆盖写入的，skipChangeCommits 会跳过覆盖类型的提交。如果需求是将每日覆盖的最新日数据同步到最终副本，要么把 daily_batch 改成追加写入（存储每日增量），要么去掉 skipChangeCommits 参数（但会每次覆盖都读取全量数据），需根据实际需求调整。

内容的提问来源于stack exchange，提问作者Oliver Angelil