在Databricks Python Notebook运行ML模型时遇ConnectException报错求助

报错信息：ConnectException: Connection refused (Connection refused) Error while obtaining a new communication channel

这个报错核心原因是**内存不足（OOM）**导致Python REPL连接被强制关闭——ML模型运行过程中往往会占用大量内存，当资源超出当前配置上限时，就会触发连接中断。

排查与解决步骤： #

• 检查内存占用细节
  • 打开Notebook的Spark UI，进入Executors页面查看每个Executor的内存使用率、GC频率，确认是否存在内存溢出迹象（比如内存占比长期接近100%、GC耗时过长）
  • 排查模型代码：确认是否加载了超大数据集、缓存了不必要的大对象，或是模型结构过于复杂导致内存过载
• 调整Spark资源配置
  • 提升Executor资源：修改spark.executor.memory（如设置为16g）和spark.executor.cores（如设置为4），根据集群可用资源合理调整
  • 扩容Driver内存：若Driver端内存不足，调整spark.driver.memory（如设置为8g及以上）
  • 开启动态资源分配：设置spark.dynamicAllocation.enabled=true，让集群根据任务需求自动增减Executor数量
  • 优化序列化：启用spark.serializer=org.apache.spark.serializer.KryoSerializer，降低内存占用
• 优化ML模型代码
  • 采用分批处理逻辑，避免一次性加载全量数据集到内存
  • 及时清理无用中间变量，用del释放内存或调用gc.collect()触发垃圾回收
  • 大模型改用分布式训练框架（如MLlib、TensorFlow on Spark），分散内存压力

内容的提问来源于stack exchange，提问作者bigdata techie