PySpark流处理Kafka时触发java.lang.NoSuchMethodError错误求助

这个错误是Scala版本不匹配或Kafka连接器依赖缺失/冲突导致的，JavaConverters相关方法找不到，说明依赖的Scala库版本和Spark使用的2.12.18不兼容，或者缺少必要的依赖jar。以下是具体解决步骤：

1. 优先使用Spark自动管理依赖（推荐） #

不要手动单个放置jar包，让Spark通过Maven坐标自动拉取匹配版本的完整依赖链，避免版本冲突：

• 方式一：提交脚本时指定--packages参数：

spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.1 your_script.py

• 方式二：在SparkSession构建中配置spark.jars.packages：

spark = SparkSession.builder \
    .appName('my_app') \
    .config("spark.jars.packages", "org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.1") \
    .getOrCreate()

Spark会自动下载包括kafka-clients、spark-token-provider-kafka-0-10等所有兼容的依赖jar，确保版本与Spark 3.5.1、Scala 2.12完全匹配。

2. 手动放置jar包的正确做法（不推荐） #

如果必须手动管理jar，需要将以下完整依赖jar放入/usr/local/spark/jars目录，且所有jar的Scala版本必须为2.12，版本号与Spark 3.5.1对应：

• spark-sql-kafka-0-10_2.12-3.5.1.jar
• spark-token-provider-kafka-0-10_2.12-3.5.1.jar
• kafka-clients-3.4.0.jar（Spark 3.5.1对应的Kafka客户端版本为3.4.0）
• 确保scala-library-2.12.18.jar存在且未被其他版本覆盖

同时，代码中如果指定spark.jars，需要列出所有依赖jar（逗号分隔）：

spark = SparkSession.builder \
    .appName('my_app') \
    .config("spark.jars", "/usr/local/spark/jars/spark-sql-kafka-0-10_2.12-3.5.1.jar,/usr/local/spark/jars/spark-token-provider-kafka-0-10_2.12-3.5.1.jar,/usr/local/spark/jars/kafka-clients-3.4.0.jar") \
    .getOrCreate()

3. 清理缓存避免旧依赖干扰 #

删除Spark工作目录的临时缓存文件，重启Spark服务，确保旧的不兼容jar不会被加载：

rm -rf /usr/local/spark/work/*

验证 #

修改完成后重新运行你的PySpark脚本，检查是否还抛出NoSuchMethodError错误。由于你已经确认Kafka Broker正常，解决依赖问题后管道应该能正常运行。

内容的提问来源于stack exchange，提问作者Nanomachines Son