You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Spark 3.3.3中调用jarOfClass方法出现None.get异常的问题求助

Spark 3.3.3中调用jarOfClass方法出现None.get异常的问题求助

大家好,我遇到一个Spark相关的问题,想请教一下各位:

我正在SpringBoot 1.4.7应用中使用Spark 3.3.3和Java 1.8。当我执行以下代码时,触发了None.get的异常:

sparkSession.sparkContext().addJar(sparkSession.sparkContext().jarOfClass(MyClass.class));

具体异常信息如下:

17:01:46.771 [http-nio-9402-exec-10] ERROR o.a.c.c.C.[.[.[.[dispatcherServlet] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is java.util.NoSuchElementException: None.get] with root cause
java.util.NoSuchElementException: None.get
        at scala.None$.get(Option.scala:529)
        at scala.None$.get(Option.scala:527)

代码本身编译完全没问题,但一执行到那行就报错。而且有个奇怪的现象:在本地模式(spark-master local[*])下运行时一切正常,但当我尝试连接Spark集群时,这个异常就出现了。

我试过直接传入jar文件的路径到addJar()方法里,这种方式是可以正常工作的:

sparkSession.sparkContext().addJar(jarFileLocation)

看来问题应该出在jarOfClass()方法上,有没有大佬遇到过类似的情况,或者能给我一些解决思路呀?

备注:内容来源于stack exchange,提问作者Omey Bhosale

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.16 08:23:07