EMR 6.9配置spark-log4j报错，如何正确配置减少冗余日志？

EMR 6.9 调整了配置分类的层级规则，原顶级分类 spark-log4j 不再被允许，需要将其作为 spark 的子分类进行配置。以下是修正后的完整配置：

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    },
    "Configurations": [
      {
        "Classification": "spark-log4j",
        "Properties": {
          "log4j.rootCategory": "ERROR, console"
        }
      }
    ]
  }
]

说明 #

• 将原独立的 spark-log4j 配置嵌套到 spark 分类的 Configurations 数组中，明确其为 spark 的子分类，即可解决分类无效的报错。
• 该配置生效后，Spark 日志级别会被设置为 ERROR，仅输出错误日志，可大幅减少 INFO、DEBUG 级别的冗余日志。

内容的提问来源于stack exchange，提问作者Mohit Kumar