向已排序Iceberg表插入数据时，如何避免不必要的Shuffle？

我创建了一张Iceberg表：

CREATE TABLE catalog.db.table (a int, b int) USING iceberg

随后为其设置写入排序规则：

ALTER TABLE catalog.db.table WRITE ORDERED BY (a, b)

执行该命令后，通过SHOW TBLPROPERTIES catalog.db.table可看到表属性新增了write.distribution-mode: range：

|sort-order             |a ASC NULLS FIRST, b ASC NULLS FIRST|
|write.distribution-mode|range                               |

现在我向该表写入数据：

df = spark.createDataFrame([(i, i*4) for i in range(100000)], ["a", "b"]).coalesce(1).sortWithinPartitions("a", "b")
df.writeTo("datalakelocal.ixanezis.table").append()

我本以为这会生成单个Spark任务，将已排序的数据作为单个文件插入表中，但实际写入时Spark会重新分区数据导致Shuffle。从物理计划可以看到Shuffle的Exchange步骤：

== Physical Plan ==
AppendData (6)
+- * Sort (5)
   +- Exchange (4)    # :(
      +- * Project (3)
         +- Coalesce (2)
            +- * Scan ExistingRDD (1)

请问是否有方法在插入新数据时避免这种不必要的Shuffle？

解决方法 #

1. 单次写入时临时跳过分布逻辑 #

在写入操作中添加write.bypass-distribution参数并设置为true，直接绕过Iceberg的分布规则，使用已经预处理好的分区和排序数据写入，不会触发Shuffle：

df.writeTo("datalakelocal.ixanezis.table")\
  .option("write.bypass-distribution", "true")\
  .append()

该方式仅对当前写入生效，不会修改表的全局属性，适配提前做好数据分区和排序的场景。

2. 写入时临时覆盖分布模式 #

通过write.distribution-mode参数临时将分布模式设置为none，取消范围分区逻辑，避免Shuffle：

df.writeTo("datalakelocal.ixanezis.table")\
  .option("write.distribution-mode", "none")\
  .append()

3. 修改表级属性（全局生效） #

如果后续所有写入都不需要基于(a,b)的范围分布，可直接修改表属性，将write.distribution-mode改回none：

ALTER TABLE catalog.db.table SET TBLPROPERTIES ('write.distribution-mode' = 'none')

注意：此操作会影响所有后续写入，若之后需要恢复范围分布，需重新执行ALTER TABLE ... WRITE ORDERED BY命令。

内容的提问来源于stack exchange，提问作者Ixanezis