Iceberg 1.1.0设置write.distribution-mode=none不生效如何解决？

针对表属性设置后仍存在额外排序的问题，在不升级版本的前提下，可尝试以下方案：

方案1：通过Spark会话/任务提交强制配置 #

在提交Spark任务时添加会话级参数，确保写入行为符合预期：

spark-submit \
  --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
  --conf spark.sql.catalog.prod=org.apache.iceberg.spark.SparkCatalog \
  --conf spark.sql.catalog.prod.type=hive \
  --conf spark.sql.catalog.prod.warehouse=你的warehouse路径 \
  --conf spark.sql.iceberg.write.distribution-mode=none \
  你的任务脚本.py

或者在Spark SQL会话中直接设置：

SET spark.sql.iceberg.write.distribution.mode=none;

该版本的Iceberg Spark连接器中，会话级配置优先级高于表属性，可确保写入时使用指定的分布模式。

方案2：写入语句中直接指定选项 #

在执行INSERT等写入操作时，通过OPTIONS子句直接绑定该属性，强制当前任务生效：

INSERT INTO prod.db.sample OPTIONS ('write.distribution-mode'='none')
SELECT ... -- 你的查询逻辑

这种方式可绕过表属性加载的潜在问题，直接作用于当前写入任务。

方案3：针对覆盖写入调整配置 #

如果你的写入操作是INSERT OVERWRITE，Iceberg 1.1.0对覆盖写入的逻辑可能忽略部分表属性，可搭配设置删除模式：

ALTER TABLE prod.db.sample SET TBLPROPERTIES ('write.delete.mode'='copy-on-write');

同时确保会话级的spark.sql.iceberg.write.distribution-mode=none已配置，避免覆盖操作触发额外shuffle和排序。

方案4：临时关闭Spark自适应执行（排查用） #

若以上方案无效，可尝试关闭Spark自适应执行，排查是否是自适应调整导致的额外排序：

--conf spark.sql.adaptive.enabled=false

注：这是临时排查手段，不建议长期关闭，可能影响其他任务性能。

内容的提问来源于stack exchange，提问作者lzwang2