如何在HDInsight上创建Spark活动运行Scala脚本？执行报错求助

我之前也踩过这个坑，ADF官方文档确实只重点讲了Python脚本的运行方式，但Scala脚本的配置有几个关键差异没提到，给你梳理下解决步骤和排查点：

• 务必修改Spark活动的脚本类型
  默认情况下ADF的Spark活动会把脚本当成Python处理，哪怕你上传的是Scala文件。进入Spark活动的配置页，在「脚本文件路径」旁边的下拉框里，把脚本类型从Python改成Scala——这是最容易忽略的一步，我当初就是没改这个直接跑，报了和你一模一样的2312错误。

• 确保Scala脚本有正确的入口类
  HDInsight的Spark集群需要明确的执行入口，你的Scala脚本必须包含带main方法的单例对象，或者继承SparkJob的类。举个最简单的示例结构：

  import org.apache.spark.SparkConf
  import org.apache.spark.SparkContext
  
  object MyScalaJob {
    def main(args: Array[String]): Unit = {
      val conf = new SparkConf().setAppName("ADF Scala Test Job")
      val sc = new SparkContext(conf)
      
      // 这里写你的业务逻辑，比如读取数据、处理计算
      val testRDD = sc.parallelize(Seq(1,2,3,4))
      println(s"Total elements: ${testRDD.count()}")
      
      sc.stop()
    }
  }
  

  如果没有这个入口，集群找不到要执行的代码，就会返回batch失败的错误。

• 检查依赖和版本兼容性
  如果你的脚本用到了外部依赖JAR包，一定要在Spark活动的「依赖JARs」里上传这些包，并在「引用的JAR路径」中指定。另外要注意：你的Scala代码编译版本必须和HDInsight集群的Scala版本一致（比如集群用Scala 2.12，你的代码就不能用2.11编译），版本不兼容会导致类加载失败。

• 查看详细日志定位具体问题
  ADF返回的2312错误太笼统，你可以通过batch id进一步排查：

  • 登录HDInsight集群的Ambari界面，找到Spark服务，进入「History Server」，搜索batch id:4，查看完整的失败日志（比如类找不到、依赖缺失、代码语法错误这些具体原因）。
  • 或者在ADF的Spark活动运行输出里，找到「链接到Spark UI」的入口，进去看更详细的执行轨迹，这比ADF的错误提示有用得多。

• 尝试用按需HDInsight集群验证
  如果你用的是长期运行的HDInsight集群，可能存在环境残留或者配置冲突的问题。可以试试在ADF里配置按需HDInsight集群来运行脚本，每次都是全新的环境，更容易排查是不是现有集群的配置问题。

内容的提问来源于stack exchange，提问作者Hemant Chandurkar