Spark消费Kafka Twitter流数据报错scala.Predef$.wrapRefArray方法缺失

错误根源 #

你遇到的java.lang.NoSuchMethodError: 'scala.collection.mutable.WrappedArray scala.Predef$.wrapRefArray(java.lang.Object[])'错误，核心原因是Scala版本不兼容：你指定的spark-sql-kafka-0-10_2.12:3.4.0依赖是基于Scala 2.12编译的，但你的Spark/PySpark环境使用了不匹配的Scala版本（比如2.11），或者PySpark与Spark核心版本不一致，导致方法调用失败。

具体修复步骤 #

1. 严格统一版本匹配 #

• 确保PySpark版本与Spark核心版本完全一致：执行pip install pyspark==3.4.0，强制安装与你指定的Kafka依赖匹配的PySpark版本。
• 检查Spark的Scala版本：运行spark-shell，查看启动日志中的Scala版本信息（如Using Scala version 2.12.17），如果显示为2.11，需重新下载基于Scala 2.12编译的Spark 3.4.0安装包，替换现有环境。

2. 清理依赖冲突 #

• 删除本地Spark安装目录下jars文件夹中所有旧版Kafka相关jar包（如spark-sql-kafka-0-10_*.jar、kafka-clients-*.jar），避免新旧依赖冲突。
• 若使用虚拟环境，先完全卸载PySpark：pip uninstall pyspark -y，再重新安装指定版本。

3. 修正代码中的无效配置 #

你在Kafka读取代码中添加的.option("header", "true")是CSV/JSON等结构化数据源的配置项，Kafka数据源不支持该参数，直接删除即可。修正后的读取代码：

df = spark \
    .readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", "localhost:9092") \
    .option("subscribe", "twitter") \
    .option("startingOffsets", "latest") \
    .load() \
    .selectExpr("CAST(value AS STRING) as message")

4. Docker部署环境检查 #

• 使用兼容的Spark镜像：选择基于Scala 2.12的Spark 3.4.0镜像，例如bitnami/spark:3.4.0，避免使用Scala 2.11版本的镜像。
• 清理容器挂载目录：确保本地挂载到容器的目录中没有旧的依赖jar包，防止污染容器内的Spark环境。

验证方法 #

启动SparkSession后，执行以下代码检查加载的依赖是否正确：

for jar in spark.sparkContext.listJars():
    if "kafka" in jar:
        print(jar)

需确认输出中包含spark-sql-kafka-0-10_2.12-3.4.0.jar，且对应的kafka-clients版本与Spark 3.4.0兼容（通常为3.3.2）。

内容的提问来源于stack exchange，提问作者Xedonedron