MS Fabric自定义Spark池启动慢、超时不生效，如何优化配置？

一、加快自定义Spark池冷启动速度 #

针对专用终结点环境下的冷启动耗时问题，可从以下维度调整：

• 调整池保留与预热配置：
  1. 提高自定义池的**空闲超时（Idle Timeout）**时长（建议设为60分钟以上），避免池在短时间空闲后被销毁，后续管道启动可复用已有节点；
  2. 启用预热池功能（若支持），提前初始化固定数量的节点，消除资源调度与镜像拉取等待时间。
• 优化节点规格与数量：
  选用内存/计算优化型的较大规格节点（如Standard_DS3_v2），同时减少初始节点数量（比如从3个降至2个）——更少的节点能更快完成初始化，后续通过自动缩放按需扩容。
• 精简笔记本初始化逻辑：
  移除笔记本中不必要的全局库导入、预加载大文件等冗余操作；将初始化逻辑移至具体执行单元格，仅在需要时加载资源；优先使用Fabric预安装库，避免自定义库的下载安装耗时。
• 排查专用终结点网络问题：
  验证存储账户与Fabric工作区的网络peering配置是否正确，确保Spark节点能快速拉取镜像与依赖资源，降低网络延迟带来的启动耗时。

二、修复超时规则不生效问题 #

针对20分钟超时未生效的情况，需明确不同层级超时设置的作用范围并调整：

• 区分池级别与作业级别超时：
  池的空闲超时仅控制池销毁时机，不影响作业执行时长；若要限制笔记本作业的运行时间，需在管道的笔记本活动配置中单独设置超时。
• 配置笔记本活动的超时参数：
  在管道JSON的笔记本活动typeProperties中添加超时配置：

  "timeout": "PT20M"
  

  同时检查管道重试策略，避免重试次数过多导致的超时感知偏差。
• 设置Spark作业级超时参数：
  在笔记本中添加Spark配置参数，强制控制作业超时：

  spark.conf.set("spark.network.timeout", "1200s")
  spark.conf.set("spark.executor.heartbeatInterval", "60s")
  spark.conf.set("spark.task.maxFailures", "1")
  

• 调整池自动缩放的最小节点数：
  若池的最小节点数设为0，空闲时池会完全销毁，导致每次管道重启都触发冷启动。将最小节点数设为1或以上，确保池始终保留基础节点，加快后续启动速度。

内容的提问来源于stack exchange，提问作者Geezer