Azure Synapse：如何让管道中Notebook的%pip魔法命令生效

出现这个问题的核心原因是：交互式手动运行Notebook时，会话权限和配置限制更宽松；而通过管道执行自动化作业时，Synapse的安全策略默认禁用了%pip这类会修改环境的魔法命令，避免批量作业意外变更池配置。

以下是几种可行的解决办法：

• 通过Spark池预安装依赖
  直接在Synapse Studio中配置目标Spark池的包管理：

  1. 进入Synapse Studio，找到你使用的Spark池
  2. 切换到「包」选项卡，点击「添加」
  3. 选择PyPI源，输入需要安装的包名及版本，保存配置
     下次池启动时会自动安装这些包，Notebook中无需再执行%pip install，直接导入使用即可。

• 用Python subprocess替代魔法命令
  如果必须在Notebook内动态安装依赖，可以绕过%pip魔法命令，直接调用系统级pip：

  import subprocess
  import sys
  
  # 安装指定包，替换为你的目标包名
  subprocess.check_call([sys.executable, "-m", "pip", "install", "your-package-name"])
  

  注意：这种方式需要确保运行Notebook的池有足够权限执行系统命令，部分无服务器池可能仍会限制此操作。

• 使用自定义Spark环境
  创建包含所需依赖的自定义环境，管道运行时指定该环境：

  1. 在Synapse Studio的「管理」>「Spark环境」中创建新环境
  2. 添加需要的PyPI包或上传自定义wheel包，完成环境配置
  3. 在管道的Notebook活动配置中，选择「Spark环境」为你创建的自定义环境
     这种方式能确保作业运行在预配置的依赖环境中，完全避免在Notebook内执行安装命令。

内容的提问来源于stack exchange，提问作者romanex1212