Spark Structured Streaming消费Kafka依赖安装报错如何解决?
报错根因说明
- 首次出现
Failed to find data source: kafka错误,是因为Spark运行环境未加载Structured Streaming和Kafka的集成依赖包,你选用的依赖坐标org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2本身和Spark 3.1.2 + Scala 2.12的环境是匹配的,没有问题。 - 第二次执行spark-submit报错,是因为命令末尾的
...是文档占位符,你没有替换为实际要运行的应用程序路径、主类等参数,导致Spark找不到任务入口,和依赖包无关。
各场景正确使用方式
场景1:交互式测试(pyspark/spark-shell)
如果是在交互式环境测试代码,直接在启动命令中加--packages参数即可:
# PySpark交互式环境启动命令 ./bin/pyspark --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2
启动完成后直接运行你编写的Kafka消费代码即可正常执行。
场景2:提交Python脚本运行
假设你的消费逻辑写在kafka_stream.py文件中,提交命令写法如下:
./bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2 /你的脚本实际存放路径/kafka_stream.py
替换为你实际的Python脚本路径即可,无需额外指定--class参数。
场景3:提交Scala/Java JAR包运行
如果是JVM语言打包的程序,需要补充主类全路径和JAR包路径参数:
./bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2 \ --class 你的主类全路径(例如com.xxx.KafkaConsumerMain) \ /你的JAR包实际存放路径/app.jar
离线环境手动配置方案
如果服务器无法访问公共Maven仓库,可手动下载以下对应版本JAR包,放入$SPARK_HOME/jars/目录下,重启Spark服务后无需加--packages参数即可正常使用:
- spark-sql-kafka-0-10_2.12-3.1.2.jar
- spark-token-provider-kafka-0-10_2.12-3.1.2.jar
- kafka-clients-2.6.0.jar
- commons-pool2-2.6.2.jar
注意事项
- 必须保证spark-sql-kafka包的Scala版本后缀(_2.12)和你所用Spark的Scala版本一致,Spark版本号(3.1.2)和部署的Spark集群版本完全一致,否则会出现类冲突、类找不到等兼容性错误。
- kafka.bootstrap.servers配置末尾不要加多余的逗号,你代码里写的
localhost:9092,要改成localhost:9092,避免后续连接Kafka时报错。
内容的提问来源于stack exchange,提问作者yekmolsoheil
相关产品推荐
相关产品推荐

