PySpark 3.1.2 ReadStream读取Kafka兼容jar包及报错解决咨询

• 缺失依赖包：org.apache.spark:spark-token-provider-kafka-0-10_2.12:3.1.2，报错提示的KafkaConfigUpdater类就属于这个包，你之前只引入了spark-sql-kafka和kafka-clients两个jar，漏掉了该依赖
• Kafka客户端版本不匹配：Spark 3.1.2官方适配的kafka客户端版本为2.6.3，你使用的3.0.0版本跨主版本，会引发兼容性冲突

方案1：使用Spark自动拉取依赖（推荐） #

直接将配置项spark.jars改为spark.jars.packages，让Spark自动下载匹配的全量依赖，无需手动管理jar包版本：

spark = SparkSession.builder.\
  config('spark.jars.packages', 'org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.2').\
  getOrCreate()

该配置会自动拉取spark-sql-kafka及其所有依赖包，包括缺失的spark-token-provider-kafka-0-10和对应版本的kafka-clients，完全规避版本匹配问题。

方案2：手动补全jar包 #

如果必须手动管理jar包，需要额外下载两个匹配版本的jar放入你的jar目录：

1. spark-token-provider-kafka-0-10_2.12-3.1.2.jar
2. kafka-clients-2.6.3.jar（替换你原有的3.0.0版本）
   修改Spark配置中的jar路径即可：

spark = SparkSession.builder.\
  config('spark.jars', '../jar/kafka-clients-2.6.3.jar,../jar/spark-sql-kafka-0-10_2.12-3.1.2.jar,../jar/spark-token-provider-kafka-0-10_2.12-3.1.2.jar').\
  getOrCreate()

你现有代码中存在逻辑问题：结构化流是异步启动的，直接调用toPandas大概率拿不到数据，需要等待流初始化完成，调整示例如下：

alertQuery = ds \
          .writeStream \
          .queryName("qalerts")\
          .format("memory")\
          .start()

# 等待流初始化完成，可根据实际情况调整等待时长
import time
time.sleep(5)

alerts = spark.sql("select * from qalerts")
pdAlerts = alerts.toPandas()
# 后续处理逻辑...

# 处理完成后记得停止流任务
alertQuery.stop()

内容的提问来源于stack exchange，提问作者Ashish Gupta