Azure Databricks流式作业报notebook输出超20MB限制如何排查解决？

• 分段排查定位输出源：将notebook按业务逻辑拆分为多个独立执行段，每次仅运行1-2个关联cell，每执行完成后到Job任务详情的「Notebook output」页查看对应cell的输出字节数，逐步缩小范围直到锁定触发20MB阈值的具体代码段。
• 排查流式作业隐式输出：Structured Streaming部分运行版本会默认将查询进度、运行状态等信息自动输出到notebook结果中，尤其是将流式查询实例赋值给变量后，部分环境会隐式打印该实例的全量属性信息。你可以临时添加代码终止所有流式查询spark.streams.active.foreach(q => q.stop())，确认关闭流后是否还会触发报错，快速锁定是否为流任务相关输出导致的问题。
• 排查全局隐式输出：notebook最后一个cell的返回值会被默认作为该cell的输出内容、UDF运行时抛出的批量异常栈、第三方依赖包的标准输出/错误输出未被重定向到driver日志，这三类场景是最容易被忽略的隐式输出源。你可以在notebook开头添加对应代码关闭全局返回值输出：
  Python环境：

  from IPython.core.interactiveshell import InteractiveShell
  InteractiveShell.instance().ast_node_interactivity = "none"
  

  Scala环境：

  repl.beQuietDuring {
    // 所有业务代码放在该代码块内执行
  }
  

• 调整RPC响应阈值：在集群Spark配置中添加参数spark.databricks.driver.maxRpcResponseSize 104857600，示例为将阈值调整到100MB，你可以根据业务场景按需调整，调整后需要重启集群生效，不建议设置超过1GB避免影响集群通信稳定性。
• 重定向输出到Driver日志：将所有标准输出、错误输出重定向到driver本地日志文件，完全不输出到notebook结果页，Python环境示例代码如下：

  import sys
  sys.stdout = open("/databricks/driver/custom_stdout.log", "a")
  sys.stderr = open("/databricks/driver/custom_stderr.log", "a")
  

• 调整作业提交方式：长期运行的流式作业建议打包为Jar包或者Python wheel包，通过Spark Submit任务的方式提交运行，完全绕开notebook输出大小限制，同时也能提升作业运行稳定性。
• 关闭流式查询进度输出：如果定位到是流查询进度输出导致的超限，可以添加如下配置关闭相关输出：

  spark.sql.streaming.ui.enabled false
  spark.sql.streaming.progress.enabled false
  

内容的提问来源于stack exchange，提问作者Apoorv Agnihotri