使用S3和Glue时无法保存Iceberg格式分区数据的问题求助

错误原因 #

Iceberg默认使用的ClusteredWriter要求写入的数据按分区键（year、month、day、hour）连续聚集，如果输入数据是乱序的，同一个分区的记录会被分散到不同的写入批次中。当某个分区的写入文件已经被关闭后，又收到该分区的新记录，就会触发这个IllegalStateException。

解决方案 #

方案1：对输入数据按分区字段排序 #

修改CREATE TABLE语句，在SELECT后添加ORDER BY强制数据按分区键排序，确保同一分区的记录连续写入：

CREATE TABLE my_catalog.test.iceberg_test
USING iceberg
PARTITIONED BY (year, month, day, hour)
AS SELECT * from data 
ORDER BY year, month, day, hour

优点：生成的Iceberg文件更规整，减少后续小文件合并的开销；缺点：排序会增加额外的计算资源消耗，适合数据量中等的场景。

方案2：开启Iceberg扇出写入模式 #

扇出写入（Fanout Writers）不需要数据提前排序，会为每个分区单独维护写入流，即使数据乱序也能正常写入。可以通过两种方式开启：

方式A：设置Spark会话配置

在执行CREATE TABLE前添加以下配置：

-- 加载Iceberg扩展（如果未预先配置）
SET spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions;
-- 开启扇出写入
SET spark.sql.iceberg.write.fanout.enabled=true;

方式B：创建表时指定表属性

直接在CREATE TABLE语句中添加表属性：

CREATE TABLE my_catalog.test.iceberg_test
USING iceberg
PARTITIONED BY (year, month, day, hour)
TBLPROPERTIES ('write.fanout.enabled'='true')
AS SELECT * from data 

优点：无需排序，写入更灵活，适合数据乱序、数据量较大的场景；缺点：可能生成较多小文件，后续可通过OPTIMIZE TABLE my_catalog.test.iceberg_test命令合并小文件优化。

内容的提问来源于stack exchange，提问作者Pradyumna