Apache Iceberg在Spark中Sort order id未生效问题咨询

问题核心 #

你配置了Iceberg表的默认排序规则（default-sort-order-id=1），但执行MERGE INTO写入后，生成的文件sort_order_id仍为0，这不是显示错误，而是当前Iceberg版本的Merge操作未自动适配表级排序配置导致的。

原因分析 #

• Iceberg 1.2.1版本中，MERGE INTO的写入逻辑不会自动继承表的default-sort-order-id，默认使用无排序规则（sort_order_id=0）。
• 表级的WRITE ORDERED BY配置仅对INSERT OVERWRITE、INSERT INTO等部分写入操作生效，Merge这类更新型操作未关联该配置。

解决方案 #

方案1：Merge语句中显式指定排序 #

直接在Merge语句末尾添加ORDER BY子句，强制写入时按目标字段排序：

MERGE INTO new_ns.new_table A 
USING (SELECT * FROM tmp) B 
ON A.first_id=B.first_id
WHEN MATCHED THEN UPDATE SET A.first_id=B.first_id, A.second_id=B.second_id
WHEN NOT MATCHED THEN INSERT *
ORDER BY first_id

方案2：升级Iceberg并启用配置（推荐长期方案） #

1. 升级Iceberg版本到1.3.0及以上，该版本新增了Merge操作使用表默认排序的支持。
2. 在Spark会话中添加以下配置：

spark.conf.set("spark.sql.iceberg.merge.use-table-sort-order", "true")

配置生效后，Merge操作会自动应用表的默认排序规则，无需在语句中重复指定。

验证方式 #

执行修改后的写入操作后，再次查询文件元数据：

SELECT partition, record_count, sort_order_id FROM new_ns.new_table.files

若sort_order_id变为1，说明排序规则已生效；也可直接查看数据文件内部的记录顺序，确认是否按first_id有序排列。

内容的提问来源于stack exchange，提问作者thijsvdp