Spark Streaming集成Kafka（Scala）依赖异常求助：NoSuchMethodError

这个错误的核心原因很明确：你的项目中同时存在两个版本的Kafka客户端Jar包，Spark 1.6.2自带的旧版Kafka（0.8.x系列）和你手动引入的Kafka 0.10版本，两者的SimpleConsumer构造方法不兼容。

Kafka 0.10版本给SimpleConsumer的构造方法新增了SecurityProtocol参数，而Spark自带的0.8.x版本的Jar里根本没有这个方法，当代码尝试调用新版构造方法时，JVM找不到对应的方法，就会抛出这个异常。

下面是具体的解决步骤：

1. 排除Spark自带的Kafka依赖 #

不管你用SBT还是Maven，都需要显式排除Spark核心、Streaming模块中自带的Kafka依赖，确保只引入你需要的0.10版本。

SBT配置示例 #

libraryDependencies ++= Seq(
  // 排除Spark核心和Streaming中的Kafka依赖
  "org.apache.spark" %% "spark-core" % "1.6.2" % Provided exclude("org.apache.kafka", "kafka_2.10"),
  "org.apache.spark" %% "spark-streaming" % "1.6.2" % Provided exclude("org.apache.kafka", "kafka_2.10"),
  // 排除Spark-Streaming-Kafka模块中的旧Kafka依赖
  "org.apache.spark" %% "spark-streaming-kafka" % "1.6.2" exclude("org.apache.kafka", "kafka_2.10"),
  // 引入兼容Scala 2.10的Kafka 0.10版本
  "org.apache.kafka" %% "kafka" % "0.10.0.0"
)

Maven配置示例 #

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming-kafka_2.10</artifactId>
        <version>1.6.2</version>
        <exclusions>
            <exclusion>
                <groupId>org.apache.kafka</groupId>
                <artifactId>kafka_2.10</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.6.2</version>
        <scope>provided</scope>
        <exclusions>
            <exclusion>
                <groupId>org.apache.kafka</groupId>
                <artifactId>kafka_2.10</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.10</artifactId>
        <version>0.10.0.0</version>
    </dependency>
</dependencies>

2. 处理HDP集群的依赖冲突 #

HDP 2.5.3的集群环境中，Kafka broker的lib目录（通常是/usr/hdp/current/kafka-broker/libs）可能会包含旧版Kafka Jar，这些Jar可能会在Spark任务运行时被优先加载。

解决办法：

• 提交Spark任务时，使用--packages参数强制指定Kafka 0.10的依赖，让Spark优先下载并使用该版本：

spark-submit \
  --packages org.apache.kafka:kafka_2.10:0.10.0.0 \
  --exclude-packages org.apache.kafka:kafka_2.10 \
  --class com.yourpackage.KafkaToHdfsConsumer \
  your-assembled-jar.jar

• 或者，将Kafka 0.10的Jar包上传到集群，在提交任务时用--jars参数指定，确保它排在classpath的最前面。

3. IntelliJ本地运行的注意事项 #

在IntelliJ中调试时，要检查项目的依赖顺序：

1. 打开File > Project Structure > Modules > Dependencies
2. 找到Kafka 0.10的Jar包，点击右侧的向上箭头，把它移到Spark相关依赖的前面
3. 确保没有其他旧版Kafka Jar被意外引入（比如通过Hadoop或其他HDP组件的依赖）

额外提示 #

Spark 1.6.x的spark-streaming-kafka模块原本是为Kafka 0.8.x设计的，虽然可以通过依赖调整兼容0.10，但如果后续遇到更多兼容性问题，建议考虑升级到Spark 2.x版本（不过HDP 2.5.3默认是Spark 1.6，可能需要额外部署）。

内容的提问来源于stack exchange，提问作者Shrads