Spark流式写入Hudi能否无外部依赖实现数值列增量累加聚合

Apache Hudi 原生支持这类不依赖外部缓存、外部数据库的增量聚合场景，不需要引入额外外部组件，仅通过写入配置调整即可实现amount字段的累加更新效果。

默认upsert操作直接覆盖存量值，是因为Hudi默认的记录合并逻辑为「主键匹配时用新批次记录完整替换旧记录」，只要调整记录合并阶段的字段处理规则，就能实现字段级的累加逻辑，整个计算过程在Hudi写入时的文件合并流程内完成，不需要外部存储参与。

方案1：高版本Hudi（0.12.0及以上）使用自带部分更新能力（无需自定义代码） #

0.12.0之后的Hudi版本自带字段级部分更新能力，直接配置即可实现数值累加：

• 写入时指定记录合并的Payload类为自带的部分更新实现
• 针对amount字段单独指定更新策略为数值累加

核心配置示例（Spark写入场景）：

val writeOptions = Map(
  "hoodie.datasource.write.operation" -> "upsert",
  // 指定使用部分更新Payload
  "hoodie.datasource.write.payload.class" -> "org.apache.hudi.common.model.PartialUpdateAvroPayload",
  // 配置amount字段的更新规则为累加
  "hoodie.partial.update.operation.amount" -> "add"
)

配置完成后，其余字段仍按默认逻辑用新值覆盖，仅amount字段会自动取「存量值+新传入值」的求和结果写入。

方案2：低版本Hudi使用自定义Payload实现（全版本兼容） #

如果使用的Hudi版本低于0.12.0，可以自定义Payload实现累加逻辑，不需要改其他写入流程：

• 继承Hudi提供的BaseAvroPayload抽象类，重写combineAndGetUpdateValue方法
• 方法内读取存量记录的amount值，和新记录的amount值做求和，将求和结果作为最终写入的amount值，其余字段直接取新记录的值即可
• 写入时通过hoodie.datasource.write.payload.class配置指定使用你自定义的Payload类

• 整个合并计算过程完全在Hudi写入时的表数据合并阶段完成，Hudi会自动读取对应主键的存量数据参与计算，不需要依赖Redis、外部关系型数据库等组件存储中间值。
• 如果你的Spark Streaming作业是至少一次处理语义，建议搭配preCombine字段（比如设置为批次唯一ID、批次时间戳）做幂等判断，避免作业重试时同批次数据被重复累加。

对应你描述的测试场景，配置完成后的实际执行效果：
第1批次，id=1，传入amount值=10 --> 表内存储amount值 = 10
第2批次，id=1，传入amount值=20 --> 合并阶段自动计算10+20=30，表内存储amount值 = 30，完全符合增量聚合需求。

内容的提问来源于stack exchange，提问作者lucy