Spark 2.1.0对接Kafka 0.9.0报错，求替代依赖Jar包方案

你遇到的NoSuchMethodError确实是版本不匹配导致的——你当前使用的spark-sql-kafka-0-10_2.11-2.1.0.cloudera1.jar是为Kafka 0.10+版本设计的，它依赖的Kafka客户端是0.10.x版本，而你的环境是Kafka 0.9.0，两个版本的KafkaConsumer API存在差异（0.9版本的subscribe方法没有接受Collection类型参数的重载），因此抛出了这个错误。

要在Kafka 0.9.0环境下运行你的Spark应用，你需要做以下调整：

1. 替换适配Kafka 0.9的Spark jar包 #

你需要放弃spark-sql-kafka-0-10系列的jar，改用专门适配Kafka 0.9.x版本的**spark-streaming-kafka-0-9_2.11-2.1.0.jar**（如果是Cloudera发行版，对应找spark-streaming-kafka-0-9_2.11-2.1.0.cloudera1.jar，确保版本与你的Spark 2.1.0.cloudera1完全匹配）。

这个jar包是Spark官方为Kafka 0.9版本提供的Streaming集成包，它依赖的Kafka客户端版本与你的环境一致，不会出现API不兼容的问题。

2. 调整代码适配Spark Streaming API #

注意：spark-sql-kafka-0-10是用于Structured Streaming的，而Spark 2.1.0的Structured Streaming并不支持Kafka 0.9版本。因此你需要把原来基于Structured Streaming的代码，改成使用传统的Spark Streaming（DStream）API：

• 导入org.apache.spark.streaming.kafka._包
• 使用KafkaUtils.createDirectStream或KafkaUtils.createStream来创建Kafka数据流，替代原来的readStream方式

举个简单的示例片段：

import org.apache.spark.streaming._
import org.apache.spark.streaming.kafka._

val ssc = new StreamingContext(sparkConf, Seconds(5))
val kafkaParams = Map("bootstrap.servers" -> "your-brokers", "group.id" -> "your-group")
val topics = Set("your-topic")
val stream = KafkaUtils.createDirectStream[String, String](
  ssc,
  PreferConsistent,
  Subscribe[String, String](topics, kafkaParams)
)
// 后续处理逻辑...

3. 修改Spark Submit命令 #

更新--jars参数指向新的jar包，示例命令如下：

./spark-submit --jars /home/cnbo/jars/spark-streaming-kafka-0-9_2.11-2.1.0.cloudera1.jar --class ClickStream /home/cnbo/jars/sparkstreamingfi_2.11-0.1.jar

额外注意事项 #

• 确保你的应用依赖中没有混入Kafka 0.10+的客户端jar，避免依赖冲突。可以通过spark-submit的--verbose参数查看依赖树，排查是否有不兼容的jar包。
• 如果你的Cloudera环境有内置的Spark-Kafka集成包，优先使用Cloudera提供的版本，避免手动下载的jar与集群环境不兼容。

内容的提问来源于stack exchange，提问作者Naman Agarwal