如何通过表路径修改非Databricks托管的现有Delta表分区？

Python 代码调整 #

原代码基于Metastore注册表编写，针对未注册的Delta表，需改为直接通过存储路径读写，同时保留分区更新与覆盖逻辑：

# 从指定存储路径读取未注册的Delta表
input_df = spark.read.format("delta").load("abfss://<container-name>@<storage-account>.dfs.core.windows.net/path/to/your/delta-table")

# 写入时指定路径、覆盖模式、分区列及 schema 更新选项
input_df.write.format("delta")
  .mode("overwrite")
  .option("overwriteSchema", "true")
  .partitionBy("colB")  # 替换为你需要设置的目标分区列
  .save("abfss://<container-name>@<storage-account>.dfs.core.windows.net/path/to/your/delta-table")

核心修改说明： #

• 用load("<存储路径>")替代read.table("<表名>")，直接从存储位置读取未注册的Delta表
• 用save("<存储路径>")替代saveAsTable("<表名>")，将数据写入指定路径而非注册为Metastore表
• 保留partitionBy指定新分区列，overwrite模式会覆盖整个表的内容并按新分区规则重新存储

SQL 代码调整 #

原REPLACE TABLE仅适用于Metastore注册表，针对未注册Delta表，需通过路径关联或直接操作Delta路径实现：

方式1：用临时逻辑表关联路径（会话内有效） #

-- 创建临时表关联目标Delta表的存储路径
CREATE OR REPLACE TEMPORARY TABLE temp_delta_table
USING DELTA
LOCATION "abfss://<container-name>@<storage-account>.dfs.core.windows.net/path/to/your/delta-table";

-- 按新分区规则覆盖原表数据
REPLACE TABLE temp_delta_table
USING DELTA
PARTITIONED BY (view_date)  -- 替换为目标分区列
AS SELECT * FROM temp_delta_table;

方式2：直接操作Delta路径（无需临时表） #

-- 直接从路径读取数据，按新分区写入并覆盖原路径
INSERT OVERWRITE delta.`abfss://<container-name>@<storage-account>.dfs.core.windows.net/path/to/your/delta-table`
PARTITIONED BY (view_date)
SELECT * FROM delta.`abfss://<container-name>@<storage-account>.dfs.core.windows.net/path/to/your/delta-table`;

核心修改说明： #

• 用LOCATION参数关联存储路径，或用delta.<存储路径>``语法直接引用未注册的Delta表
• INSERT OVERWRITE配合PARTITIONED BY可直接按新分区规则覆盖原路径下的Delta表数据
• 临时表仅当前会话有效，不会在Metastore中留下注册记录，适配ADF调用的一次性任务场景

内容的提问来源于stack exchange，提问作者user20634467