如何设置Spark Structured Streaming作业运行时长并按天定时调度

1. 核心配置参数（无需修改代码） #

Spark 2.4及以上版本自带流作业运行时长控制参数，直接在作业提交时配置即可：

• 首先配置优雅停止参数，保证作业停止时处理完已拉取的数据，不出现数据丢失：spark.streaming.stopGracefullyOnShutdown=true
• 配置最大运行时长参数，支持常用时间单位（h/小时、m/分钟、s/秒），比如要运行23小时就设为spark.sql.streaming.maxStreamingDuration=23h，作业达到时长后会自动触发优雅停止。

提交作业的参考命令示例：

spark-submit \
  --conf spark.streaming.stopGracefullyOnShutdown=true \
  --conf spark.sql.streaming.maxStreamingDuration=23h \
  --class com.your.business.StreamJob \
  your_stream_job.jar

2. 代码层面配置方案 #

如果你需要更灵活的控制逻辑，也可以直接在流查询启动时配置超时：

val streamQuery = sourceData.writeStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "broker:9092")
  .option("topic", "output_topic")
  .option("checkpointLocation", "/checkpoint/path")
  .start()

// awaitTermination参数单位为毫秒，比如23小时对应 23 * 60 * 60 * 1000 = 82800000
streamQuery.awaitTermination(82800000)
// 超时后主动停止查询
streamQuery.stop()

3. 按天调度的注意事项 #

• 调度时建议给作业预留30分钟到1小时的缓冲时间，比如24小时调度一次的作业，运行时长设为23小时，避免上一个作业未正常退出、下一个作业启动时抢占checkpoint路径导致报错。
• 如果使用YARN作为资源管理器，可额外配置YARN应用超时参数yarn.application.max-lifetime=23h做双重保险，避免Spark参数异常时作业长期占用集群资源。

内容的提问来源于stack exchange，提问作者MetallicPriest