Delta表Schema变更：如何不覆盖数据移除分区part_c？

现有按part_a、part_b、part_c分区的Delta表，要修改为仅按part_a、part_b分区，由于Delta Lake不支持直接删除分区列，需通过重写数据重新组织分区结构，具体步骤如下：

1. 确认当前表结构 #

先执行命令查看当前表的分区和列信息，确保后续操作准确：

DESCRIBE EXTENDED mytable;

2. 重写数据调整分区 #

方法一：SQL方式（INSERT OVERWRITE） #

直接通过INSERT OVERWRITE覆盖原表，指定新的分区列，同时保留part_c作为普通列（若不需要该列可从SELECT中移除）：

INSERT OVERWRITE TABLE mytable PARTITION (part_a, part_b)
-- 替换为表中所有实际列名，确保包含part_c（如需保留）
SELECT col1, col2, ..., part_a, part_b, part_c
FROM mytable;

方法二：Delta API方式（Python/Scala） #

如果使用代码操作，可借助DeltaTable API重写数据：

from delta.tables import DeltaTable
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("adjust-delta-partition").getOrCreate()

# 加载原Delta表
delta_table = DeltaTable.forPath(spark, "/some/path/")

# 读取数据后按新分区覆盖写入原路径
delta_table.toDF() \
    .write \
    .format("delta") \
    .mode("overwrite") \
    .partitionBy("part_a", "part_b") \
    .save("/some/path/")

3. 验证修改结果 #

执行以下操作确认分区调整成功：

• 再次执行DESCRIBE EXTENDED mytable;，检查分区列是否仅为part_a和part_b
• 查看存储路径/some/path/的目录结构，原有的part_c=xxx子目录应已被移除，数据合并到对应part_a/part_b的目录下

注意事项 #

• 备份数据：操作前务必备份原表数据，避免覆盖出错导致数据丢失
• 性能优化：数据量较大时，建议调整Spark参数（如spark.sql.shuffle.partitions）或分批次处理，提升执行效率
• 列保留：若不需要part_c列，可在SELECT语句或DataFrame中直接剔除该列

内容的提问来源于stack exchange，提问作者YFl