Apache Iceberg写入时replaceWhere选项未按预期工作的问题

向按partition_date列分区的外部Hive Iceberg表写入数据，初始表test有两行数据：

("2015-01-02", "S01233", "3-goods-purchased")
("2015-01-02", "S01234", "4-goods-purchased")

执行以下写入代码后：

val input = Seq(("2015-01-02", "S01233", "5-goods-purchased"))
.toDF("partition_date", "order_id", "goods_purchased")

input.write
.format("iceberg")
.partitionBy("partition_date")
.option("path","s3://some-bucket-path/test")
.option(
"replaceWhere",
s"order_id in ('S01233')")
.mode("overwrite")
.saveAsTable("default.test")

实际结果是表被完全覆盖，仅保留一行数据：

("2015-01-02", "S01233", "5-goods-purchased")

预期结果是保留未被更新的行：

("2015-01-02", "S01233", "5-goods-purchased")
("2015-01-02", "S01234", "4-goods-purchased")

疑问：replaceWhere选项未按预期工作，是否遗漏配置？Iceberg是否支持类似Delta格式的replaceWhere功能？

1. Iceberg的replaceWhere限制
   Iceberg的replaceWhere仅支持基于分区列的过滤条件，非分区列的过滤会被直接忽略。你的过滤条件order_id in ('S01233')中，order_id不是分区列，因此该条件不生效，加上mode("overwrite")触发了全表覆盖。

2. 行级更新的正确实现方式
   要实现仅更新指定行、保留其他数据的需求，需要使用Iceberg的Merge Into语法，示例代码如下：

val updateDF = Seq(("2015-01-02", "S01233", "5-goods-purchased"))
  .toDF("partition_date", "order_id", "goods_purchased")

updateDF.createOrReplaceTempView("update_view")

spark.sql("""
  MERGE INTO default.test t
  USING update_view u
  ON t.order_id = u.order_id AND t.partition_date = u.partition_date
  WHEN MATCHED THEN UPDATE SET *
  WHEN NOT MATCHED THEN INSERT *
""")

3. 关于replaceWhere的正确用法
   如果一定要使用overwrite模式结合replaceWhere，只能针对分区列设置过滤条件，比如覆盖某个分区的所有数据：

input.write
.format("iceberg")
.partitionBy("partition_date")
.option("path","s3://some-bucket-path/test")
.option("replaceWhere", "partition_date = '2015-01-02'")
.mode("overwrite")
.saveAsTable("default.test")

但这种方式会覆盖该分区下的所有数据，无法实现行级精准更新。

内容的提问来源于stack exchange，提问作者Leroy Mikenzi