如何用Spark SQL为现有Delta表添加新分区？已遇ALTER TABLE报错

Delta Lake不支持原生的ALTER TABLE ... ADD PARTITION语法，这是因为它的分区管理依赖数据写入逻辑，而非手动元数据操作。以下是两种Spark SQL实现方式：

1. 插入数据自动创建分区（推荐） #

Delta表的分区会在写入对应分区值的数据时自动生成，这是最符合Delta设计逻辑的方式。示例语句：

-- 插入指定分区的数据
INSERT INTO MY_DB_NAME.MY_TABLE_NAME
SELECT 
  source_col1 AS col1, 
  source_col2 AS col2, 
  'PARTITION_VALUE' AS PARTITION_COLUMN
FROM your_source_table
WHERE -- 按需添加过滤条件

如果仅需创建空分区（不推荐，空分区在Delta中无实际业务意义），可以先插入一条空记录再删除：

-- 插入空记录触发分区创建
INSERT INTO MY_DB_NAME.MY_TABLE_NAME (col1, col2, PARTITION_COLUMN)
VALUES (NULL, NULL, 'PARTITION_VALUE');

-- 删除空记录保留分区
DELETE FROM MY_DB_NAME.MY_TABLE_NAME
WHERE PARTITION_COLUMN = 'PARTITION_VALUE' AND col1 IS NULL;

2. 同步已存在的物理分区到元数据 #

如果已经手动在文件系统中创建了分区目录，可以用MSCK REPAIR TABLE命令让Delta表识别这些分区：

MSCK REPAIR TABLE MY_DB_NAME.MY_TABLE_NAME;

注意：此命令仅用于同步已存在的物理分区，不能主动创建新分区目录。

内容的提问来源于stack exchange，提问作者MJ029