Spark Connect连接独立Spark集群读取Kafka报类找不到异常

这个错误的核心是Spark Worker节点缺少Kafka的Spark依赖包：org.apache.spark.sql.kafka010.KafkaSourceRDDPartition类不在Worker的类路径中。df.printSchema()能正常执行是因为它仅在Driver端做元数据解析，无需Worker参与；而df.show()会触发作业提交，需要Worker执行任务，此时缺少依赖就会抛出类找不到的异常。

1. 全局配置Spark集群依赖 #

修改Spark集群所有Worker节点的spark-defaults.conf文件，添加以下配置：

spark.jars.packages=org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.1

配置完成后重启Spark Master和Worker节点，确保所有Worker都加载该依赖包。

2. 在SparkSession构建时指定依赖 #

创建SparkSession时，通过config方法显式声明Kafka依赖，确保作业提交时Worker能自动拉取对应依赖：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("test2")\
    .remote("sc://spark-master-svc.data-lab-system:15002")\
    .config("spark.executor.memory", "512m")\
    .config("spark.jars.packages", "org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.1")\
    .getOrCreate()

kafka_service = "kafka-kafka-bootstrap.data-lab-system:9092"
topic_name = "pre-proccessing_posts_stream"
group_id = "spark-consumer-group3"

df = spark \
    .read \
    .format("kafka") \
    .option("kafka.bootstrap.servers", kafka_service) \
    .option("subscribe", topic_name) \
    .option("kafka.group.id", group_id) \
    .load()

df.printSchema()
df.show()

3. 启动Spark Worker时指定依赖 #

如果是手动启动Spark Worker，可在启动命令中通过--packages参数指定Kafka依赖：

./bin/spark-worker.sh spark://spark-master-svc.data-lab-system:7077 --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.1

这种方式会让Worker启动时自动下载并加载依赖包。

1. 登录任意Spark Worker节点，查看临时目录（默认/tmp/spark-*）下是否存在spark-sql-kafka-0-10_2.12-3.5.1.jar及相关依赖包。
2. 查看Worker节点日志，确认无ClassNotFoundException相关报错。

内容的提问来源于stack exchange，提问作者waseemoo1