Spring应用集成Spark并使用SparkSession触发内部错误求助

我未安装Spark，而是通过Maven依赖引入相关组件，pom.xml内容如下：

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi</artifactId>
    <version>5.2.2</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>5.2.2</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.13</artifactId>
    <version>3.4.1</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.13</artifactId>
    <version>3.4.1</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-api</artifactId>
    <version>2.20.0</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.20.0</version>
</dependency>

添加log4j依赖是为了解决之前出现的另一个错误。目前我仅尝试最基础的SparkSession用法创建DataFrame，触发错误的代码如下：

SparkSession sparkSession = SparkSession.builder().appName("example").master("local[*]").getOrCreate();

错误详情 #

• 首次运行时的错误：

"Handler dispatch failed; nested exception is java.lang.NoSuchFieldError: JAVA_9"

• 重复发起请求后，持续出现的错误：

{"code":"INTERNAL_ERROR","message":"Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.storage.StorageUtils$"}

环境信息 #

• 本地Java版本：

java version "9.0.4"
Java(TM) SE Runtime Environment (build 9.0.4+11)
Java HotSpot(TM) 64-Bit Server VM (build 9.0.4+11, mixed mode)

• Eclipse中Tomcat v8.5使用JDK 11

需求疑问 #

我的需求是将POJO列表转换为DataFrame，进行聚合分组操作后生成Excel文件，不确定使用Spark是否为最优选择。

重复请求时日志显示每次启动的端口号不同，示例日志：

2023-07-31 14:33:16,841 [http-nio-8080-exec-2] [INFO ] org.apache.spark.util.Utils - Successfully started service 'sparkDriver' on port 49350.

内容的提问来源于stack exchange，提问作者fayssal el ansari