为何Apache Spark Structured Streaming的console sink在Update模式下失效

Data source v2 streaming sinks does not support Update mode

该报错出现在Spark 3.x及以上版本的结构化流作业中，核心原因如下：

• 你当前使用的控制台流式Sink属于Spark DataSource V2规范的实现，本身不支持Update输出模式，仅支持Append和Complete两种输出模式。
• 你的作业包含聚合类有状态计算逻辑，且在writeStream配置中显式指定了outputMode("update")，和控制台Sink的支持能力不匹配。

• 方案1：更换输出模式适配控制台Sink
  • 如果需要每次触发全量打印所有聚合结果，将输出模式改为outputMode("complete")即可正常运行。
  • 如果仅需要输出新增不再变更的聚合结果，可以给流数据添加水位线配置，匹配聚合窗口逻辑后切换为outputMode("append")。
• 方案2：临时降级使用DataSource V1版本的控制台Sink
  在作业启动的Spark配置中添加参数spark.sql.sources.disabledV2Providers=org.apache.spark.sql.connector.ConsoleDataSourceProvider，无需修改输出模式即可兼容运行，不会影响其他V2数据源的使用。

内容的提问来源于stack exchange，提问作者Alexander Hazan