ADF小时调度管道偶发失败：Lookup活动从Databricks Catalog取数异常

我们部署了一个包含Lookup活动的Azure Data Factory（ADF）管道，该活动用于从Databricks Catalog（Hive元存储）获取最近的数据摄入日期。此管道按小时调度运行，但存在偶发失败的情况，对应的错误信息如下：

我们已尝试延长超时时间、调整集群配置，但问题仍未解决。当前Lookup活动的配置如下：

内容的提问来源于stack exchange，提问作者MADHUCHANDAN