修改Delta Lake聚类列时触发[PARSE_SYNTAX_ERROR] CLUSTER语法错误

核心问题与修复 #

你的ALTER TABLE SAMPLE CLUSTER BY ('CLUSTER_TYPE')语句存在语法错误：SQL中单引号用于包裹字符串常量，而非列名。Spark解析器会把('CLUSTER_TYPE')识别为普通字符串，而非要聚类的目标列，因此触发语法错误。

修正后的SQL语句：

ALTER TABLE SAMPLE CLUSTER BY CLUSTER_TYPE;

如果列名包含特殊字符（如空格、关键字），可以用反引号包裹列名：

ALTER TABLE SAMPLE CLUSTER BY `CLUSTER_TYPE`;

额外注意：创建表时的列名不匹配问题 #

你在创建表时调用了.clusterBy("DATA_TIMESTAMP", "CLUSTER_TYPE")，但实际添加的列是TIMESTAMP而非DATA_TIMESTAMP，这会导致表创建失败。需要将clusterBy的参数修正为表中已存在的列：

DeltaTable.createOrReplace() \
  .tableName("SAMPLE") \
  .addColumn("CLUSTER_TYPE", dataType = StringType()) \
  .addColumn("TIMESTAMP", dataType = TimestampType()) \
  .addColumn("CLUSTER_NAME", dataType = StringType()) \
  .clusterBy("TIMESTAMP", "CLUSTER_TYPE") \  # 修正为表中存在的TIMESTAMP列
  .execute()

版本兼容性验证 #

Delta Lake 3.3确实支持Liquid Clustering的ALTER TABLE语法，你的pyspark 3.5.4与delta-lake 3.3.0版本组合是兼容的，修正上述语法问题后即可正常执行。

内容的提问来源于stack exchange，提问作者Ryan Byoun