如何在EMR集群安装Python模块，使PySpark脚本（非Notebook）正常运行？

问题根源分析 #

你遇到的问题核心原因通常包括：

• 原bootstrap脚本缺少scipy编译必需的系统依赖，导致安装失败
• PySpark运行时使用的Python环境与Jupyter Notebook的环境不一致
• 脚本未明确指定pip路径，导致依赖安装到了错误的Python环境中

方法1：修正Bootstrap脚本（集群全局安装） #

修改后的脚本会在所有节点（主节点、核心/任务节点）安装编译依赖和Python包，确保集群环境统一：

#!/bin/bash
# 安装scipy编译必需的系统依赖
sudo yum install -y gcc gcc-c++ lapack-devel blas-devel

# 升级pip并安装目标包，使用EMR默认Python对应的pip绝对路径
sudo /usr/bin/pip3 install --upgrade pip
sudo /usr/bin/pip3 install scipy scikit-learn

使用说明：

• 创建集群时将此脚本上传至S3，指定为bootstrap动作让集群启动时执行
• 确保集群节点具备访问PyPI的网络权限（私有网络环境需配置VPC端点或代理）

方法2：在PySpark步骤中动态安装（单步骤隔离） #

如果不需要全局安装依赖，可在PySpark脚本开头加入安装逻辑，确保运行时环境满足要求：

import subprocess
import sys

def install_required_packages():
    # 使用当前PySpark进程对应的pip安装依赖包
    subprocess.check_call([sys.executable, "-m", "pip", "install", "scipy", "scikit-learn"])

# 先安装依赖再执行业务逻辑
install_required_packages()

# 后续PySpark业务代码
# ...

注意：此方法每次步骤运行都会触发安装，会增加任务启动时间，适合临时测试或低频运行的任务。

方法3：验证Python环境一致性 #

Jupyter能正常使用依赖但PySpark步骤失败，大概率是环境不匹配。可在PySpark脚本中添加以下代码，确认当前Python路径：

import sys
print("Current Python executable path:", sys.executable)

将输出路径对应的pip（比如/usr/bin/python3对应/usr/bin/pip3）用于bootstrap脚本或步骤内安装，确保依赖安装到正确的环境中。

方法4：自定义EMR镜像（长期解决方案） #

如果集群频繁需要这些依赖，制作自定义EMR镜像可避免每次启动都重复安装：

1. 启动一个基础EMR集群，安装好scipy、sklearn及其他常用依赖
2. 通过AWS CLI或控制台创建该集群的自定义镜像
3. 后续创建集群时选择该自定义镜像，启动后直接具备所需依赖

内容的提问来源于stack exchange，提问作者ImNotAPanda