如何正确运行Spark官方项目中的Kafka示例？解决类缺失异常

这个错误我之前调试Spark Kafka整合代码时也碰到过，本质是运行时缺少Spark与Kafka 0.10+版本整合的依赖包。默认情况下，Spark的预编译包并没有把Kafka相关的依赖打包进去（这些依赖被标记为provided scope，编译时可用但运行时需要手动引入），所以执行run-example时会找不到LocationStrategies这类核心类。

下面给你几个最直接的解决方案：

方案1：运行时通过--packages自动拉取依赖（推荐） #

直接修改你的运行命令，添加--packages参数指定Spark-Kafka整合依赖的坐标，Spark会自动从Maven仓库下载并加载这些依赖：

bin/run-example --packages org.apache.spark:spark-streaming-kafka-0-10_2.12:3.5.0 streaming.JavaDirectKafkaWordCount localhost:9092 test

注意这里的参数要和你的环境匹配：

• _2.12是Scala版本，你可以查看Spark安装目录下lib文件夹里的jar包命名（比如spark-core_2.12-3.5.0.jar就说明是Scala 2.12版本）
• 3.5.0是你的Spark版本，替换成你实际使用的Spark版本号

方案2：手动下载依赖包到Spark的lib目录 #

如果你的环境无法联网，或者想永久添加这个依赖，可以：

• 去Maven中央仓库找到对应版本的spark-streaming-kafka-0-10_xxx包（和你的Spark、Scala版本匹配）
• 同时下载它的关联依赖（比如kafka-clients、spark-token-provider-kafka-0-10等）
• 把所有下载好的jar包放到$SPARK_HOME/lib目录下
• 重新执行你原来的run-example命令即可

额外注意事项 #

• 确保Spark和Kafka版本兼容：Spark 3.x系列通常兼容Kafka 2.x及以上版本，你用的最新版组合是没问题的
• 提前创建好Kafka的test主题：可以用kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1命令创建，不然示例运行后会一直等待数据
• 你的Java 8环境是符合Spark 3.x要求的，不需要调整JDK版本

内容的提问来源于stack exchange，提问作者Zoltan