Databricks Runtime10.2集群高峰时段Python REPL启动失败求助

• 优先拉取故障窗口（10:05-10:15）Driver节点10秒粒度的细粒度监控，重点核对三个指标：Driver堆内存剩余值、Driver进程Full GC停顿时长、当前运行的Python REPL进程总数。Python REPL运行在Driver节点而非Executor节点，此前调整max executors参数的操作作用域为Executor计算资源，完全不影响REPL启动流程，属于无效调优。
• 核对集群默认配置阈值：Databricks Runtime 10.2 版本单Driver对Python REPL的并发承载能力和Driver规格强绑定，单Python REPL进程默认预留256M-512M堆外内存，先核算峰值50个并发作业拉起REPL时的总内存占用，确认是否触发Driver内存阈值。
• 检索节点系统日志：排查故障时段Driver、Worker节点的OOM Killer触发记录、进程句柄耗尽记录，REPL启动失败的直接触发原因通常是进程申请内存/句柄时被操作系统拒绝。
• 核对调度潮汐特征：确认所有ETL作业是否配置为10:00整定点触发，导致50个作业在数分钟内同时发起REPL初始化请求，瞬间请求洪峰打满Driver的进程启动配额。

• 资源配置调整
  • 升级Driver节点规格：按50个并发Python作业的承载需求，Driver至少选用16核64G规格，同时配置spark.driver.memoryOverhead=12g，给REPL进程预留足够堆外内存，无需继续调大max executors参数。
  • 优化REPL相关参数：在集群Spark配置中添加spark.databricks.python.repl.memory=256m，下调单个REPL进程的默认内存预留；配置spark.databricks.concurrentNotebookLimit=60，放开默认的并发Notebook数量硬限制。
• 调度策略优化
  • 给定点触发的ETL作业添加0-10分钟的随机启动偏移，将50个作业的启动时间打散在10:00-10:10窗口内，消除瞬间并发拉起REPL的请求洪峰。
  • 给核心业务依赖的Notebook配置高调度优先级，确保核心作业优先抢占REPL启动资源，避免非核心作业挤占资源导致核心流程异常。
• 自愈能力配置
  • 给所有ETL作业配置2次自动重试，重试间隔设置为30秒，避开峰值时段的资源争抢窗口。
  • 将集群自动伸缩冷却时间调整为5分钟，避免峰值时段集群频繁扩缩容带来的Driver资源波动。

内容的提问来源于stack exchange，提问作者Anthony Davies