如何阻止EC2 EMR集群作业完成后终止以使用Spark-Shell？

嘿，这个需求完全可以实现！要让EMR集群在作业跑完后继续留着给你用Spark-Shell，核心就是禁用集群的自动终止功能，下面给你分场景说具体怎么做，还有你问的emr wait命令的作用也一起讲清楚：

1. 创建集群时直接配置成持久运行 #

这是最稳妥的方式，不管用控制台、CLI还是SDK，都能直接设置：

控制台操作步骤 #

• 登录AWS EMR控制台，进入「创建集群」流程
• 在「集群配置」的「终止保护」板块，勾选启用终止保护（这个不仅能防止自动终止，还能避免手动误删集群）
• 重点：在「步骤」配置环节，如果你提前加了作业步骤，一定不要勾选「完成最后一步后终止集群」——这个就是触发自动终止的开关

CLI命令创建持久集群 #

用aws emr create-cluster命令时，加上--termination-protected参数，不要加--auto-terminate参数（默认就是不自动终止，除非你主动指定）：

aws emr create-cluster \
  --name "我的持久化Spark集群" \
  --release-label emr-6.15.0 \
  --applications Name=Spark \
  --instance-type m5.xlarge \
  --instance-count 3 \
  --termination-protected \
  --use-default-roles

小提示：如果之前的命令里加过--auto-terminate，一定要删掉，这个参数会强制集群在所有步骤完成后自动 shutdown。

Python SDK（boto3）创建 #

用代码创建集群时，设置TerminationProtected=True，并且不要设置AutoTerminate=True：

import boto3

emr_client = boto3.client('emr')

cluster_response = emr_client.run_job_flow(
    Name='我的持久化Spark集群',
    ReleaseLabel='emr-6.15.0',
    Applications=[{'Name': 'Spark'}],
    Instances={
        'InstanceGroups': [
            {
                'Name': '主节点',
                'Market': 'ON_DEMAND',
                'InstanceRole': 'MASTER',
                'InstanceType': 'm5.xlarge',
                'InstanceCount': 1
            },
            {
                'Name': '核心节点',
                'Market': 'ON_DEMAND',
                'InstanceRole': 'CORE',
                'InstanceType': 'm5.xlarge',
                'InstanceCount': 2
            }
        ],
        'TerminationProtected': True,
        # 绝对不要设置 AutoTerminate: True
    },
    JobFlowRole='EMR_EC2_DefaultRole',
    ServiceRole='EMR_DefaultRole'
)

2. 给已创建的集群修改终止设置 #

如果集群已经建好了，也能事后调整：

控制台修改 #

• 进入EMR集群列表，选中目标集群
• 在「集群详情」页面的「操作」下拉菜单里，选择「启用终止保护」（如果之前是关闭的）
• 如果之前不小心开了自动终止，直接移除未完成的步骤，或者通过集群属性修改终止行为即可

CLI命令修改属性 #

用aws emr modify-cluster-attributes命令开启终止保护：

aws emr modify-cluster-attributes \
  --cluster-id j-XXXXXXXXXXXX \
  --attributes TerminationProtected=true

如果要关闭自动终止（之前开启过的话）：

aws emr modify-cluster-attributes \
  --cluster-id j-XXXXXXXXXXXX \
  --attributes AutoTerminate=false

3. 关于aws emr wait命令的说明 #

你问到的emr wait命令，它的作用是等待集群/步骤达到指定状态，比如等待集群启动完成、等待某个作业步骤跑完，但它本身不能阻止集群自动终止。举个实用例子：

# 等待集群进入运行状态，再执行后续操作
aws emr wait cluster-running --cluster-id j-XXXXXXXXXXXX

# 等待某个特定步骤完成
aws emr wait step-complete --cluster-id j-XXXXXXXXXXXX --step-id s-XXXXXXXXXXXX

如果集群本身设置了自动终止，步骤跑完后还是会终止，所以wait只是个状态等待工具，不是用来控制集群生命周期的。

总结一下 #

• 核心操作是不开启自动终止（默认就是关闭的，别主动加--auto-terminate），同时开启终止保护防止意外终止
• 创建时配置最省心，事后也能修改
• aws emr wait不负责控制集群终止，只是帮你等待状态触发后续动作

内容的提问来源于stack exchange，提问作者dedpo