Spark Streaming依赖缺失与版本兼容问题排查求助

一、核心问题定位 #

你的问题根源是Scala版本不匹配（Spark 3.5.2官方绑定Scala 2.12，但系统全局Scala为2.13.14），加上Spark Kafka/Cassandra连接器版本与Spark/Scala版本不兼容，以及手动添加JAR的方式引发依赖冲突。

二、分步修复方案 #

1. 统一Scala运行环境 #

Spark 3.5.2仅兼容Scala 2.12.x，全局Scala 2.13会导致类加载冲突，需强制Spark使用自身绑定的Scala版本：

• 执行PySpark脚本前，临时指定Spark自带的Scala环境，避免调用全局版本：

  export SCALA_HOME=/path/to/spark-3.5.2  # 替换为你的Spark安装根目录
  export PATH=$SCALA_HOME/bin:$PATH
  

• 不要手动修改系统全局CLASSPATH，Spark会自动加载自身jars目录下的依赖，手动添加极易引发冲突。

2. 修复Kafka连接器依赖缺失 #

KafkaConfigUpdater属于Spark Kafka连接器类，需安装与Spark版本严格匹配的连接器：

• 推荐通过--packages参数动态加载（无需手动放JAR，避免版本错配）：
  运行脚本时添加：

  spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.2 processing_data.py
  

• 若必须手动部署，下载spark-sql-kafka-0-10_2.12:3.5.2完整依赖包，放入Spark的jars目录，同时删除之前手动添加的不兼容JAR。

3. 修复Cassandra连接器的Scala兼容问题 #

Cassandra加载数据触发Scala类错误，是因为连接器版本与Spark的Scala版本不匹配：

• 选择兼容Spark 3.5.2（Scala 2.12）的Cassandra连接器版本，比如spark-cassandra-connector_2.12:3.4.1：
  运行脚本时通过--packages同时加载Kafka和Cassandra连接器：

  spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.2,com.datastax.spark:spark-cassandra-connector_2.12:3.4.1 processing_data.py
  

• 若手动部署，下载对应版本的连接器JAR及依赖（如jsr305-3.0.0.jar），替换Spark jars目录中旧的、不兼容的版本。

4. 清理冲突JAR #

删除Spark jars目录中你手动添加的、非官方匹配版本的JAR，尤其是Scala 2.13相关文件，彻底消除类加载冲突。

三、最小化重装建议 #

若上述方案无效，仅需重装以下组件，无需全量重装：

1. 重装Spark：卸载当前Spark，重新下载官方预编译的Spark 3.5.2 with Scala 2.12版本（不要选Scala 2.13版本），直接解压使用，无需手动修改配置。
2. 保留Kafka、Cassandra：这两个组件与Scala版本无直接依赖，只要连接器版本匹配即可正常工作，无需重装。

验证方法 #

运行简化测试脚本验证环境：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("EnvValidation") \
    .config("spark.cassandra.connection.host", "你的Cassandra主机地址") \
    .getOrCreate()

# 测试Kafka连接
kafka_df = spark.readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", "你的Kafka主机地址:9092") \
    .option("subscribe", "测试主题名") \
    .load()
kafka_df.printSchema()

# 测试Cassandra连接
cassandra_df = spark.read \
    .format("org.apache.spark.sql.cassandra") \
    .options(table="测试表名", keyspace="测试键空间名") \
    .load()
cassandra_df.show(1)

spark.stop()

用以下命令运行：

spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.2,com.datastax.spark:spark-cassandra-connector_2.12:3.4.1 test_script.py

内容的提问来源于stack exchange，提问作者Lê Anh Tuấn 291N40