PySpark中使用Apache Iceberg按Cod/年/月分区报错的解决咨询

方法一：Spark SQL分步骤创建并修改分区规范 #

1. 创建初始分区表
   先只包含Cod和year(Date)分区，避免同时添加year和month触发冗余校验：

spark.sql("CREATE TABLE local.table USING iceberg PARTITIONED BY (Cod, years(Date)) AS SELECT * FROM table_df;")

2. 更新分区规范添加month字段
   使用Iceberg兼容的REPLACE PARTITION SPEC语法，覆盖原有分区规则：

spark.sql("ALTER TABLE local.table REPLACE PARTITION SPEC (Cod, years(Date), months(Date));")

方法二：PySpark API正确创建分区表 #

先修正字段拼写错误（Code改为Cod、DataReferencia改为Date），再执行创建逻辑：

from pyspark.sql import functions as f

table_df.writeTo("local.table") \
    .partitionedBy(f.col("Cod"), f.year(f.col("Date")), f.month(f.col("Date"))) \
    .create()

若仍报Invalid partition transformation，需升级Iceberg至0.12+版本（该版本后完善了Spark时间函数分区转换的支持）。

关键注意点 #

• Iceberg禁止初始创建时同时添加同一时间字段的多粒度转换分区（如year和month），因为month属于year的子粒度，会被判定为冗余；必须先创建粗粒度分区，再通过修改分区规范补充细粒度分区。
• Iceberg的Spark SQL中，修改分区规范需用REPLACE PARTITION SPEC，而非SET PARTITION。

内容的提问来源于stack exchange，提问作者OdiumPura