Terraform配置EMR集群自动终止失效问题及解决方案咨询

我之前也踩过类似的坑，咱们一步步来排查和解决：

一、先检查Terraform配置的常见错误 #

你提到设置了keep_job_flow_alive_when_no_steps为"false"，这里大概率是问题所在！Terraform的aws_emr_cluster资源中，这个参数需要的是布尔值，而不是字符串类型的"false"。

错误的写法（字符串会被Terraform解析为true）：

resource "aws_emr_cluster" "my_emr_cluster" {
  # 其他配置（名称、EMR版本、实例组等）...
  keep_job_flow_alive_when_no_steps = "false" # 这里是字符串，不对！
}

正确的写法（直接用布尔值，不需要引号）：

resource "aws_emr_cluster" "my_emr_cluster" {
  name          = "My-EMR-Cluster"
  release_label = "emr-6.10.0"
  # 其他必填配置（比如instance_groups、service_role等）...
  
  keep_job_flow_alive_when_no_steps = false # 布尔值，正确设置
}

修正这个配置后，重新apply创建集群，控制台的"Auto-terminate"应该会显示为"Yes"，当所有步骤执行完成后，集群会自动终止。

另外还要确认：集群创建后是否真的没有运行中的步骤？如果步骤还在执行，自动终止逻辑要等所有步骤完成后才会触发。

二、如果集群已创建，用AWS CLI修改自动终止设置 #

如果你的集群已经创建完成，不想重新用Terraform部署，可以直接用AWS CLI修改集群属性：

1. 直接更新集群的自动终止属性 #

执行以下命令，替换<你的集群ID>为实际的EMR集群ID：

aws emr modify-cluster-attributes --cluster-id <你的集群ID> --attributes KeepJobFlowAliveWhenNoSteps=false

执行后刷新控制台，"Auto-terminate"会切换为"Yes"，如果当前集群处于无步骤运行的WAITING状态，会立刻触发终止。

2. 添加步骤时强制自动终止 #

如果你要给现有集群添加新步骤，可以在添加时加上--auto-terminate参数，这样不管集群之前的设置如何，步骤完成后都会自动终止：

aws emr add-steps --cluster-id <你的集群ID> \
  --steps Type=Spark,Name="My-Spark-Job",ActionOnFailure=CONTINUE,Args=[--class,com.example.MyApp,s3://my-bucket/app.jar,s3://my-bucket/input,s3://my-bucket/output] \
  --auto-terminate

三、额外提示 #

其实Terraform是支持添加EMR步骤的，用aws_emr_step资源就可以，示例配置如下：

resource "aws_emr_step" "my_spark_step" {
  cluster_id = aws_emr_cluster.my_emr_cluster.id
  name       = "My-Spark-Step"

  action_on_failure = "CONTINUE"

  hadoop_jar_step {
    jar = "command-runner.jar"
    args = [
      "spark-submit",
      "--class", "com.example.MyApp",
      "s3://my-bucket/app.jar",
      "s3://my-bucket/input",
      "s3://my-bucket/output"
    ]
  }
}

这样你就可以在Terraform里一站式完成集群创建和步骤添加，不用再单独用CLI操作啦。

内容的提问来源于stack exchange，提问作者S Tho