Delta Live Table报错：Cannot redefine dataset问题排查求助

问题描述 #

我是Delta Live Table新手，正按照Databricks教程创建Delta Live Table，已创建Notebook并关联DBR 14.3-LTS交互式集群。首次运行以下代码成功，再次运行同一单元格时出现错误：AnalysisException: Cannot redefine dataset 'sales_orders_raw'

代码如下：

from pyspark.sql.functions import *
from pyspark.sql.types import *
import dlt

@Dlt.create_table(
  comment="The raw sales orders, ingested from /databricks-datasets.",
  table_properties={
    "myCompanyPipeline.quality": "bronze",
    "pipelines.autoOptimize.managed": "true"
  }
)
def sales_orders_raw():
  return (
    spark.readStream.format("cloudFiles") \
      .option("cloudFiles.schemaLocation", "/tmp/john.odwyer/pythonsalestest") \
      .option("cloudFiles.format", "json") \
      .option("cloudFiles.inferColumnTypes", "true") \
      .load("/databricks-datasets/retail-org/sales_orders/")
  )

原因分析 #

• DLT的@dlt.create_table装饰器用于在DLT管道元数据中注册数据集，首次运行会成功创建sales_orders_raw的定义。
• 再次运行时，DLT检测到同名数据集已存在，为防止意外覆盖现有表结构或数据，会抛出无法重新定义的异常。
• 额外注意：代码中@Dlt.create_table的Dlt应为小写dlt（与导入的import dlt一致），虽然这不是本次报错的直接原因，但会导致后续运行失败。

解决方法 #

• 使用@dlt.create_or_replace_table替换@dlt.create_table：该装饰器允许覆盖已存在的数据集定义，适合需要修改表结构或配置的场景，修改后的代码如下：

from pyspark.sql.functions import *
from pyspark.sql.types import *
import dlt

@dlt.create_or_replace_table(
  comment="The raw sales orders, ingested from /databricks-datasets.",
  table_properties={
    "myCompanyPipeline.quality": "bronze",
    "pipelines.autoOptimize.managed": "true"
  }
)
def sales_orders_raw():
  return (
    spark.readStream.format("cloudFiles") \
      .option("cloudFiles.schemaLocation", "/tmp/john.odwyer/pythonsalestest") \
      .option("cloudFiles.format", "json") \
      .option("cloudFiles.inferColumnTypes", "true") \
      .load("/databricks-datasets/retail-org/sales_orders/")
  )

• 删除已注册的sales_orders_raw数据集：通过Databricks界面进入对应的DLT管道，找到该表并删除，之后再重新运行代码。
• 测试场景下清理临时元数据：如果是在交互式Notebook中测试，可重启集群或清理DLT相关的临时状态，再重新执行代码。

内容的提问来源于stack exchange，提问作者user3048456