AWS EMR：如何在Core/Task从节点安装Python依赖库？

嘿，作为踩过EMR依赖安装坑的过来人，给你几个实用的解决方案，完美解决Core/Task节点装不上Python库的问题：

1. 用EMR Bootstrap Actions（官方推荐，一劳永逸） #

这是最靠谱的方式——Bootstrap Actions会在集群所有节点（主、Core、Task）启动时自动运行脚本，从根源上避免依赖只装在主节点的问题。

操作步骤： #

• 先写一个Shell脚本（比如install_python_libs.sh），内容如下：

#!/bin/bash
# 切换到root权限安装，避免权限问题
sudo pip3 install pandas numpy requests  # 替换成你需要的依赖库

• 创建EMR集群时，在"Bootstrap Actions"环节添加这个脚本：
  • 选择"Custom action"，上传你的脚本到S3（或者直接输入脚本内容）
  • 集群启动后，所有节点都会自动执行这个脚本，依赖就装好了

如果你的集群已经在运行了，这个方法没法回溯，但下次创建集群一定要用它！

2. 用boto3+SSM给运行中的从节点批量安装 #

既然你已经用boto3拿到了实例ID，那可以通过AWS Systems Manager（SSM）给所有Core/Task节点批量发安装命令，不用一个个手动登录。

代码示例： #

import boto3

# 初始化客户端
emr_client = boto3.client('emr')
ssm_client = boto3.client('ssm')

cluster_id = '你的EMR集群ID'

# 筛选出所有Core和Task节点的EC2实例ID
response = emr_client.list_instances(
    ClusterId=cluster_id,
    InstanceGroupTypes=['CORE', 'TASK']  # 只取从节点，排除主节点
)
instance_ids = [instance['Ec2InstanceId'] for instance in response['Instances']]

# 发送安装命令到所有从节点
command = ssm_client.send_command(
    InstanceIds=instance_ids,
    DocumentName='AWS-RunShellScript',
    Parameters={
        'commands': [
            'sudo pip3 install pandas numpy requests'  # 替换成你的依赖
        ]
    }
)

# 可选：查看命令执行状态
command_id = command['Command']['CommandId']
for instance_id in instance_ids:
    status = ssm_client.get_command_invocation(
        CommandId=command_id,
        InstanceId=instance_id
    )
    print(f"实例 {instance_id} 执行状态: {status['Status']}")

注意事项： #

• 你的EMR实例需要有SSM权限：给实例的IAM角色添加AmazonSSMManagedInstanceCore策略
• 实例要能访问SSM服务：要么有公网IP，要么在VPC里配置了SSM的VPC端点

3. 用Hadoop分布式命令临时解决（不推荐长期用） #

如果上述两种方式都暂时没法用，可以用Hadoop的命令让主节点给所有从节点发安装指令：

# 在EMR主节点运行这个命令
hadoop dfsadmin -report | grep Name: | awk '{print $2}' | xargs -I {} ssh {} "sudo pip3 install pandas numpy requests"

这个方法依赖主节点和从节点的免密登录（EMR默认是开启的），但稳定性不如前两种，适合临时应急。

总结一下：优先用Bootstrap Actions，集群运行中就用SSM批量命令，应急用Hadoop分布式命令。

内容的提问来源于stack exchange，提问作者Raghu