如何验证Spark从节点依赖安装？AWS EMR测试异常排查

这种情况确实挺让人挠头的——明明手动SSH到从节点查出来缺scipy，但测试却直接通过了，大概率是你的测试逻辑根本没真正触达从节点。我来帮你拆解几个最可能的原因，以及对应的验证和解决办法：

1. 测试任务只在主节点本地跑，没分发到从节点 #

这是最常见的问题：如果你的测试只是在主节点用普通Python脚本执行（比如直接写个import scipy就完事），那它只会检查主节点的依赖情况，完全不会涉及从节点。毕竟PySpark的分布式特性需要你把任务提交给集群，才会让从节点参与执行。

验证&修复方案： #

修改测试代码，让它通过Spark的分布式算子触发从节点的检查，比如用mapPartitions（每个分区会在一个节点上执行）：

from pyspark.sql import SparkSession
import socket

def check_dependency(iterator):
    try:
        import scipy
        yield f"节点 {socket.gethostname()}: scipy 已安装"
    except ImportError:
        yield f"节点 {socket.gethostname()}: scipy 未安装"

if __name__ == "__main__":
    # 不要指定master="local"，让EMR自动用集群模式
    spark = SparkSession.builder.appName("DependencyCheck").getOrCreate()
    
    # 生成足够多的分区，确保每个从节点至少分到一个任务
    rdd = spark.sparkContext.parallelize(range(100), numSlices=spark.sparkContext.defaultParallelism)
    results = rdd.mapPartitions(check_dependency).collect()
    
    # 打印每个节点的检查结果
    for res in results:
        print(res)
    
    spark.stop()

运行这个代码后，你就能明确看到每个节点（包括主节点和所有从节点）的依赖情况，不会再出现误判。

2. 依赖只在主节点安装，从节点没同步 #

如果你是在主节点手动执行pip-3.4 install -r requirements.txt，这个操作不会自动同步到所有从节点。EMR的从节点不会默认继承主节点的pip包，必须通过bootstrap动作或者集群配置来批量安装。

修复方案： #

用EMR的bootstrap脚本批量给所有节点装依赖：

1. 写一个shell脚本（比如install_deps.sh）：

#!/bin/bash
# 用sudo确保权限，指定对应pip版本
sudo pip-3.4 install -r s3://你的存储桶路径/requirements.txt

2. 把这个脚本上传到S3，然后在创建EMR集群时，将其指定为bootstrap动作——这样每个节点（主节点+从节点）在启动时都会自动执行这个脚本安装依赖。

3. 测试代码的依赖检查逻辑有漏洞 #

比如你不小心把SparkSession指定为本地模式（master="local"），这时候所有任务都会在主节点运行，自然查不到从节点的问题；或者你的依赖检查代码写在主节点的本地逻辑里，而不是分布式算子中。

验证点： #

• 检查你的SparkSession初始化代码，确保没有硬编码master="local"；
• 确认依赖检查的逻辑是放在map/mapPartitions/foreachPartition这类分布式算子里，而不是主节点的import语句中。

4. pip版本/环境不匹配 #

你用pip-3.4 list检查从节点，但PySpark可能用的是另一个Python环境。比如EMR自带的PySpark可能默认绑定/usr/bin/python3，但pip-3.4对应的是另一个Python版本，导致你检查的环境和Spark实际使用的环境完全不搭。

验证方案： #

在从节点执行which python3找到Spark实际使用的Python路径，然后用对应的pip检查依赖，比如/usr/bin/pip3 list；或者在测试代码里直接打印环境信息：

def check_env(iterator):
    import sys
    import pkg_resources
    yield f"Python路径: {sys.executable}"
    yield "已安装包列表："
    for pkg in pkg_resources.working_set:
        yield f"- {pkg.key}=={pkg.version}"

把这个函数放到mapPartitions里执行，就能看到每个节点上Spark实际使用的Python环境的依赖情况。

内容的提问来源于stack exchange，提问作者Jorge Leitao