CloudFormation配置EMR集群Applications参数报错的解决咨询

当你使用CommaDelimitedList类型的EMRApplications参数直接赋值给EMR集群的Applications属性时，会触发错误"Value of property Applications must be a list of objects"——这是因为Applications要求的是包含Name字段的对象列表，而CommaDelimitedList输出的是纯字符串数组，两者类型不兼容。

以下是无需静态定义应用的动态解决方法：

步骤1：启用CloudFormation语言扩展 #

在模板顶部添加Transform声明，启用AWS语言扩展以使用Fn::Map函数：

Transform: AWS::LanguageExtensions

步骤2：用Fn::Map转换参数格式 #

在EMR集群的Applications属性中，通过Fn::Map将字符串数组转换为符合要求的对象列表：

Parameters:
  EMRApplications:
    Type: CommaDelimitedList
    Description: 输入要安装的EMR应用名称，用逗号分隔（例如：Spark,Hive,Flink）

Resources:
  EMRCluster:
    Type: AWS::EMR::Cluster
    Properties:
      Name: MyEMRCluster
      ReleaseLabel: emr-6.15.0 # 根据需求选择合适的EMR版本
      Instances:
        # 实例配置（如主节点、核心节点规格等）...
      Applications: !Map
        - !Ref EMRApplications
        - !Sub '{"Name": "${Item}"}'
      # 其他集群配置（如服务角色、日志存储位置等）...

原理说明 #

Fn::Map会遍历EMRApplications参数的每个字符串元素，将其包装为{"Name": "应用名称"}的对象，最终生成Applications属性所需的对象列表。

注意事项 #

• 确保传入的应用名称是对应EMR版本支持的（例如EMR 6.x支持Spark、Hive、Flink等），否则集群创建会失败。
• 若需要为应用指定额外配置（如特定版本号），可以扩展!Sub中的对象结构，例如：!Sub '{"Name": "${Item}", "Version": "3.3.4"}'（需确保版本与所选EMR版本兼容）。

内容的提问来源于stack exchange，提问作者Sarat Kota