如何在Spark中抑制UnsupportedOperationChecker全局水印正确性相关警告

你遇到的是Spark Structured Streaming的内置正确性检查告警，确认业务逻辑无风险的前提下，可通过以下两种方式抑制：

• 方法1：作业提交时全局配置
  在spark-submit启动命令中添加如下参数即可：
  spark-submit --conf spark.sql.streaming.globalWatermark.checkEnabled=false [其余原有提交参数]

• 方法2：代码内指定配置（推荐，影响范围更小）
  在初始化SparkSession时显式传入配置参数：
  Scala示例：

val spark = SparkSession.builder()
  .appName("你的作业名称")
  .config("spark.sql.streaming.globalWatermark.checkEnabled", "false")
  .getOrCreate()

Python示例：

spark = SparkSession.builder \
  .appName("你的作业名称") \
  .config("spark.sql.streaming.globalWatermark.checkEnabled", "false") \
  .getOrCreate()

提示：该配置会完全关闭全局水印的正确性检查，请仅在确认业务逻辑不会因晚到数据丢弃引发正确性问题时使用。

内容的提问来源于stack exchange，提问作者Eljah