Synapse Spark池依赖包消失求助：如何确保包持久化？

可能原因 #

• Spark池自动缩放/重置：若池配置了自动缩容至0节点，节点重启时会重置运行环境，导致自定义包丢失。
• Azure DevOps部署冲突：部署操作可能触发池重建、环境变量覆盖或依赖目录清理，比如脚本误删池依赖存储路径，或更新池配置时重置了基础环境。
• 临时安装无持久化：通过Notebook会话临时执行pip install的包仅存于当前节点临时存储，池重启后直接丢失。
• 池配置变更：修改Spark版本、Python版本或池基础镜像，会重置原有依赖环境。

解决方法 #

• 采用持久化初始化脚本安装依赖：
  将自定义wheel包上传至Azure存储（如ADLS Gen2或DBFS），编写初始化脚本自动安装：

  #!/bin/bash
  # 若存储未自动挂载，先执行挂载操作
  # dbutils.fs.mount("abfss://container@storageaccount.dfs.core.windows.net/", "/dbfs/mnt/custom-packages")
  pip install /dbfs/mnt/custom-packages/your-custom-package.whl
  

  将脚本配置到Spark池的初始化脚本设置中，每次池启动时自动执行安装，确保依赖持久化。
• 锁定池核心配置：禁止部署流程中随意修改Spark池的版本、镜像等核心配置，如需更新，先备份当前依赖环境再逐步灰度验证。
• 调整池缩放策略：业务允许的话，将池最小节点数设为1，避免节点完全销毁导致环境重置；若必须缩容至0，确保初始化脚本在扩容时自动重装所有依赖。
• 排查部署脚本：检查Azure DevOps部署流程中涉及Spark池的操作，移除或调整可能清理依赖、重置池环境的步骤（如不当的Azure CLI调用）。
• 维护依赖锁定文件：创建requirements.txt记录所有依赖的精确版本，初始化脚本安装时执行pip install -r requirements.txt，避免版本遗漏或冲突。

内容的提问来源于stack exchange，提问作者csukcl