如何正确修改Delta Live Tables的表分区列

Delta Live Tables（DLT）是托管型管道，表的元数据、实际数据、运行状态都会持久化保存在管道配置中指定的storage路径下，不会只依赖目标数据库（你配置的test库）里的元存储条目。
你手动执行DROP TABLE test.transaction仅删除了元存储中注册的表映射，完全没清理DLT存储路径下留存的旧表元数据、数据文件。管道重启后会读取到旧的无分区表定义，和新代码指定的分区配置冲突，自然就抛出分区列不可修改的错误。
注意：DLT托管表的生命周期完全由管道自身管理，不要手动在外部执行DROP、ALTER等DDL操作，非常容易出现元数据不一致的问题。

根据你是否需要保留历史数据，选对应方案即可：

• 方案1：开发/测试环境，无需保留历史数据
  这是适配你当前dev管道场景的最简方案：

  1. 停掉当前运行失败的管道
  2. 直接在DLT管道的操作菜单中选择「重置管道（删除所有状态和数据）」，这个操作会自动清空配置的storage路径下所有和当前管道相关的元数据、历史数据
  3. 确认代码中已经正确配置partition_cols和分区列计算逻辑，重新启动管道就行，DLT会从零创建带正确分区规则的表。
     如果你的环境没有可视化重置按钮，手动删除storage路径下tables/目录中对应transaction表的所有子目录，确认元存储里的旧表已经删掉后重新运行管道，效果完全一致。

• 方案2：生产环境，需要保留已有历史数据
  Delta Lake本身不支持原地修改表分区列——分区是表的物理存储布局，修改必须重写全量数据，DLT场景下按以下步骤操作：

  1. 先恢复之前手动删除的test.transaction表：如果已经删了没法直接恢复，就先把代码回滚到无分区的版本，跑一次管道把旧表重建回来，操作前建议开时间旅行做个备份避免数据丢失。
  2. 在DLT代码里新增一个临时表，配置好你需要的分区规则，从旧的transaction表读全量数据写入：

  @dlt.table(
    partition_cols=["partition"],
    name="transaction_new"
  )
  def transaction_new():
    return (
      dlt.read("transaction")
      .withColumn("partition", F.to_date("timestamp"))
    )
  

  3. 运行管道，确认新表transaction_new数据完整、分区规则符合预期
  4. 删除旧的transaction表对应代码，把新表的name参数改回transaction，重新运行管道，DLT会自动把新表作为正式表对外提供服务，旧表的数据会在后续管道运行的垃圾回收阶段自动清理。

内容的提问来源于stack exchange，提问作者Tse Kit Yam