AWS EMR步骤未因Scala Spark应用异常失败的原因及解决方法

这个场景我之前处理EMR Spark作业时也碰到过，最常见的原因是异常抛出时机不对——它是在Spark作业已经执行完成、YARN已经把Application标记为成功之后才触发的。EMR判断步骤状态主要看YARN Application的最终状态，一旦YARN认为作业成功结束，哪怕后续Driver进程抛出异常退出，EMR也会保持步骤"已完成"的状态。

另外还有一种可能：虽然你抛出了异常，但JVM的退出码被意外设为0了。正常情况下，未捕获的异常会让JVM以非0码退出，但如果你的代码里有其他逻辑（比如某些框架的收尾钩子）修改了退出码，就会让EMR误判作业成功。

这里有几个经过验证的方案，你可以根据自己的代码情况选择：

• 主动终止Spark上下文并强制设置错误退出码
  修改你的catch块，在抛出异常前主动停止Spark上下文，然后用System.exit(1)强制JVM以错误码退出。这样EMR肯定会识别到步骤失败。代码改成这样：

  try {
    tappSparkEngine.process();
  } catch {
    case e: Exception => 
      LOG.error("Process failed with exception", e) // 建议打印完整栈轨迹，比只打toString更容易排查问题
      // 停止活跃的Spark上下文（如果还没自动停止）
      org.apache.spark.SparkContext.getActive.foreach(_.stop())
      System.exit(1) // 强制JVM返回错误码1
  }
  

• 确保异常在Spark作业执行阶段抛出
  如果你的process()方法里包含Spark的action操作（比如count()、collect()这类触发计算的方法），要保证异常是在这些action执行过程中抛出的。这种情况下，Spark会自动把异常传播给YARN，标记Application为失败，EMR步骤自然就会显示失败状态。

• 检查是否有上层逻辑吞掉了异常
  排查一下你的代码或者依赖的框架里，有没有上层的try-catch块捕获了这个异常却没有重新抛出或者设置退出码。有些自定义的Spark应用框架会做这类操作，只打日志不终止程序，导致EMR以为作业没问题。

• 针对数据丢失类异常的特殊配置
  从你的日志来看，异常是"Midnight points are missed when expected"，属于数据丢失类问题。你可以在Spark配置里加上spark.sql.files.failOnDataLoss=true，让Spark在遇到这类数据缺失的情况时直接终止作业，不用等到后续抛出异常。

内容的提问来源于stack exchange，提问作者jk1