PySpark应用报NoClassDefFoundError: com/datastax/spark/connector/util/Logging求助

核心问题分析 #

这个错误的根源是spark-cassandra-connector主jar包本身依赖其他Datastax相关类库，仅单独放置主jar包会缺失com.datastax.spark.connector.util.Logging这类依赖类——这些类并不包含在你放入的spark-cassandra-connector_2.12-3.4.1.jar中，必须补充对应依赖才能解决。

正确的依赖安装方式 #

方式1：Spark提交时自动拉取依赖（推荐） #

直接在启动PySpark或提交脚本时，通过--packages参数让Spark自动从Maven仓库拉取所有兼容的依赖包，无需手动找jar：

# 启动PyShell时指定依赖
pyspark --packages com.datastax.spark:spark-cassandra-connector_2.12:3.4.1

# 提交流处理脚本时指定依赖
spark-submit --packages com.datastax.spark:spark-cassandra-connector_2.12:3.4.1 your_streaming_script.py

方式2：手动下载完整依赖包 #

如果必须手动部署，建议下载assembly版的连接器胖jar（包含所有依赖），而非普通jar：

• 下载地址对应版本：spark-cassandra-connector-assembly_2.12-3.4.1.jar
• 将该胖jar放入PySpark的$SPARK_HOME/jars目录，替换之前单独放的普通jar
• 若仍有缺失，需补充对应版本的cassandra-driver-core、datastax-java-driver-core等依赖包，确保版本与连接器兼容

方式3：配置Spark默认依赖 #

修改$SPARK_HOME/conf/spark-defaults.conf，添加以下配置，让Spark每次启动自动加载连接器依赖：

spark.jars.packages com.datastax.spark:spark-cassandra-connector_2.12:3.4.1

关键版本匹配要求 #

• 确保连接器的Scala版本（此处为2.12）与Spark内置的Scala版本完全一致
• 连接器版本（3.4.1）需与Spark版本兼容，比如Spark 3.4.x对应连接器3.4.x系列，版本不匹配会触发各类类加载异常

内容的提问来源于stack exchange，提问作者francollado99