Databricks Spark Streaming无报错停止问题排查咨询

• Notebook上下文生命周期限制：Notebook批量运行完成后，会自动回收Spark上下文资源，而流式任务依赖持续活跃的Spark上下文才能运行。单独执行流式任务单元时，上下文会保持存活状态，因此任务能正常运行；但批量运行时，上下文被销毁后任务就会静默停止，无明确报错。

• Checkpoint目录异常：

  • 权限差异：批量运行时的执行用户与单独执行时不同，导致无法读写checkpoint目录，任务因无法持久化状态而停止。
  • 残留冲突：之前的流式任务残留了checkpoint文件，批量运行时新任务无法正确加载或更新这些文件，触发静默终止。

• foreachBatch逻辑存在隐性未捕获异常：单独执行时数据量小、场景简单，upsertToDelta函数未触发异常；但批量运行时数据量更大、数据复杂度更高，函数内部出现未捕获的异常（如数据类型不匹配、主键冲突处理疏漏），导致任务停止，而Notebook批量运行模式未捕获并展示该异常信息。

• 资源竞争或配置被篡改：Notebook中其他代码单元占用了过多Spark资源（内存、CPU），导致流式任务无法获取足够资源运行；或者其他单元修改了Spark核心配置（如并行度、内存参数），破坏了流式任务的运行环境，引发静默终止。

• 流式任务对象未被持有引用：代码中仅调用.start()但未将返回的StreamingQuery对象赋值给变量，批量运行时该对象会被JVM垃圾回收机制回收，进而终止流式任务。单独执行时，对象会保留在当前会话的变量池中，不会被回收。

内容的提问来源于stack exchange，提问作者Patterson