Spark2.3.0对接Kafka1.0.0.3时ClassNotFoundException问题求助

核心问题分析 #

报错java.lang.ClassNotFoundException: org.apache.spark.sql.kafka010.KafkaSourceRDDPartition的本质是Spark Executor节点无法找到Kafka流连接器的相关类——虽然Driver端读取Kafka成功，但任务执行时Executor缺少必要的依赖包，导致任务失败。

具体解决方案 #

1. 匹配Spark与Kafka连接器版本 #

Spark 2.3.0必须使用对应版本的Kafka官方连接器，正确的jar包是spark-sql-kafka-0-10_2.11-2.3.0.jar（根据你的Scala版本调整后缀，比如Scala 2.10则用_2.10），该版本完全兼容Kafka 1.0.0.3。

2. 确保所有Executor节点都能获取到连接器jar包 #

• 本地模式：在Spark配置文件spark-defaults.conf中添加：

  spark.driver.extraClassPath=/path/to/spark-sql-kafka-0-10_2.11-2.3.0.jar
  spark.executor.extraClassPath=/path/to/spark-sql-kafka-0-10_2.11-2.3.0.jar
  

• 集群模式（如YARN）：提交任务时通过--jars参数指定jar包，确保jar包能被所有Executor拉取：

  spark-submit --jars /path/to/spark-sql-kafka-0-10_2.11-2.3.0.jar your_script.py
  

• 全局部署：将jar包复制到所有节点的$SPARK_HOME/jars目录下，重启Spark集群。

3. 清理旧Checkpoint数据 #

之前的流任务可能残留了不兼容的元数据在checkpoint目录中，导致任务启动时加载错误。删除/test_streaming_data/checkpoint目录后重新启动任务。

4. 精简冗余代码（可选） #

读取Kafka时已经完成了类型转换，写入CSV时无需重复执行selectExpr，优化后的写入代码：

df_write = df \
        .writeStream \
        .format("csv") \
        .option("path", "/test_streaming_data") \
        .option("checkpointLocation", "/test_streaming_data/checkpoint") \
        .start()

注意：checkpoint路径建议使用绝对路径，避免因工作目录不同导致的路径问题。

内容的提问来源于stack exchange，提问作者Utpal Dutta