Spark 3.3.3中调用jarOfClass方法出现None.get异常的问题求助
Spark 3.3.3中调用jarOfClass方法出现None.get异常的问题求助
大家好,我遇到一个Spark相关的问题,想请教一下各位:
我正在SpringBoot 1.4.7应用中使用Spark 3.3.3和Java 1.8。当我执行以下代码时,触发了None.get的异常:
sparkSession.sparkContext().addJar(sparkSession.sparkContext().jarOfClass(MyClass.class));
具体异常信息如下:
17:01:46.771 [http-nio-9402-exec-10] ERROR o.a.c.c.C.[.[.[.[dispatcherServlet] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is java.util.NoSuchElementException: None.get] with root cause java.util.NoSuchElementException: None.get at scala.None$.get(Option.scala:529) at scala.None$.get(Option.scala:527)
代码本身编译完全没问题,但一执行到那行就报错。而且有个奇怪的现象:在本地模式(spark-master local[*])下运行时一切正常,但当我尝试连接Spark集群时,这个异常就出现了。
我试过直接传入jar文件的路径到addJar()方法里,这种方式是可以正常工作的:
sparkSession.sparkContext().addJar(jarFileLocation)
看来问题应该出在jarOfClass()方法上,有没有大佬遇到过类似的情况,或者能给我一些解决思路呀?
备注:内容来源于stack exchange,提问作者Omey Bhosale
相关产品推荐
相关产品推荐

