求助：HDInsight中PySpark 3内核无法识别脚本安装的Python包

这个问题我帮不少开发者排查过，核心原因是HDInsight的PySpark内核和PySpark 3内核依赖的Python运行环境是相互独立的——你通过默认脚本动作安装的包，只会被部署到PySpark内核对应的默认Python环境里，PySpark 3内核用的是另一个独立环境，自然找不到这些包。下面是几个可行的解决办法：

方法1：修改脚本动作，指定PySpark 3对应的Python环境安装 #

首先得确认PySpark 3内核使用的Python解释器路径：

• 打开一个PySpark 3笔记本，运行以下代码：

  import sys
  print(sys.executable)
  

  你会得到类似 /usr/bin/python3 或者 /anaconda/envs/py38/bin/python 这样的路径。

然后修改你的脚本动作，用对应环境的pip来安装包：

• 如果路径是 /usr/bin/python3，对应的pip命令就是：

  /usr/bin/pip3 install <你的包名>
  

• 如果是conda环境（比如Anaconda的py38环境），可以用conda命令安装（确保集群里有conda）：

  source /anaconda/bin/activate py38
  conda install -y <你的包名>
  conda deactivate
  

把修改后的脚本重新通过Azure门户的脚本动作运行，目标节点选所有节点或者头节点+工作节点，这样包就会装到PySpark 3内核对应的环境里了。

方法2：使用集群Bootstrap脚本预安装到双环境 #

如果你是新建集群，可以用Bootstrap脚本一次性把包安装到两个环境里，避免后续麻烦：

• 编写Bootstrap脚本，同时针对默认Python环境和PySpark 3的Python环境安装包：

  # 安装到PySpark默认环境
  pip install <你的包名>
  # 安装到PySpark 3环境（替换成你查到的路径）
  /usr/bin/pip3 install <你的包名>
  

• 在创建HDInsight集群时，把这个Bootstrap脚本配置到集群的自定义脚本里，这样集群启动后两个内核都能访问到包。

方法3：笔记本内临时安装（仅应急用） #

如果只是临时测试，不想修改集群脚本，可以在PySpark 3笔记本里直接运行安装命令：

!pip install --user <你的包名>

不过这种方法的包只存在于当前用户目录下，集群重启或者更换用户后就会失效，适合短期测试场景。

验证方法 #

安装完成后，在PySpark 3笔记本里运行import <你的包名>，如果没有报错，就说明安装成功了。

内容的提问来源于stack exchange，提问作者GLalor