ADF执行含Databricks Notebook的ETL遇集群故障，自行恢复，求原因

这类偶发且自行恢复的故障，通常由临时的资源或服务波动导致，常见成因包括：

• Databricks集群资源临时耗尽：当时集群的CPU、内存或磁盘IO被其他并发任务抢占，Notebook执行时无法获取足够资源，触发超时或失败；后续任务运行时，集群已有资源释放，即可正常执行。
• ADF与Databricks间的网络临时波动：两者通信链路出现短暂丢包、延迟，导致任务调用失败；网络自动恢复后，后续运行不受影响。
• Databricks服务端临时异常：Databricks的控制平面或计算节点出现短暂服务故障，平台自愈机制会自动修复这类问题，之后任务即可正常运行。
• ADF调度节点负载过高：ADF调度组件当时处理的任务量过载，导致对Databricks Notebook的调用超时；后续调度负载下降，任务执行恢复正常。
• Notebook依赖的外部资源临时不可用：比如Notebook读取的存储服务（如ADLS、Blob Storage）、数据库出现短暂访问故障，当这些资源恢复后，任务就能顺利执行。

内容的提问来源于stack exchange，提问作者ramith desilva