Docker提交Spark集群作业时遭遇Cassandra连接器类找不到异常求助

这个ClassNotFoundException我之前帮好几个开发者排查过，核心原因是集群模式下Spark的类加载机制导致的——你虽然把connector打包进了应用jar，但Executor节点上可能没加载到这个类，或者类加载优先级的问题。下面给你几个针对性的解决方案：

1. 先确认版本兼容性 #

首先得把最基础的版本匹配问题排除：spark-cassandra-connector的版本必须和你的Spark版本严格对应，比如Spark 3.3.x就要用connector 3.3.x，版本不兼容大概率会出现这类类找不到的问题。

如果是Maven项目，检查pom.xml里的依赖配置（注意不要加provided范围，否则打包时不会包含这个依赖）：

<dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector_2.12</artifactId>
    <version>3.3.0</version>
</dependency>

2. 用--packages参数提交作业（推荐） #

集群模式下，直接把connector打包进应用jar有时候会因为依赖冲突、Executor类加载路径优先级等问题失效。更可靠的方式是让Spark自动帮你分发依赖到所有节点：

spark-submit \
    --master spark://your-cluster-master:7077 \
    --packages com.datastax.spark:spark-cassandra-connector_2.12:3.3.0 \
    --class com.your.package.YourMainClass \
    your-app.jar

这个命令会让Spark自动下载对应版本的connector jar，并确保所有Executor节点都能加载到CassandraPartition这类核心类。

3. 检查Docker中的应用jar是否正确打包 #

你是从Docker提交作业，先确认你的应用jar真的包含了connector的类。进入Docker容器后执行以下命令：

jar tf your-app.jar | grep com/datastax/spark/connector/rdd/partitioner/CassandraPartition

如果没有任何输出，说明打包过程有问题——比如Maven的assembly插件或者SBT的assembly任务没把依赖正确合并进去，需要调整打包配置，确保所有依赖类都被包含到最终的jar里。

4. 调整Spark类加载优先级 #

如果上面的方法都没用，可以试试修改Spark的类加载顺序，让它优先加载应用jar里的类，避免系统类加载器的干扰：

spark-submit \
    --master spark://your-cluster-master:7077 \
    --conf spark.driver.userClassPathFirst=true \
    --conf spark.executor.userClassPathFirst=true \
    --class com.your.package.YourMainClass \
    your-app.jar

注意这个参数可能带来依赖冲突风险，所以优先用前面的方法，这个作为兜底方案。

内容的提问来源于stack exchange，提问作者Chintamani