Apache Flink 1.4集成Kafka 2.11-1.0.0依赖无法解析求方案

我之前也踩过版本匹配的坑，别慌，咱们一步步搞定：

核心版本匹配逻辑 #

首先得理清楚：Flink的Kafka连接器是按Kafka的协议版本划分的，而非严格对齐Kafka的版本号。Kafka 1.0.0是基于0.11.x的协议演进而来，两者完全兼容，所以我们可以用Flink 1.4对应的0.11系列Kafka连接器来对接Kafka 1.0.0。

正确配置build.sbt依赖 #

在你的build.sbt文件中添加以下依赖配置：

// 引入Flink 1.4对应的0.11系列Kafka连接器
libraryDependencies += "org.apache.flink" %% "flink-connector-kafka-0.11" % "1.4.0"

// 可选：如果需要严格匹配Kafka 1.0.0的客户端版本，排除连接器自带的0.11客户端再手动添加
libraryDependencies += "org.apache.flink" %% "flink-connector-kafka-0.11" % "1.4.0" exclude ("org.apache.kafka", "kafka-clients")
libraryDependencies += "org.apache.kafka" % "kafka-clients" % "1.0.0" % Provided

注：Provided标记是因为集群环境通常已内置Kafka客户端依赖，避免打包重复引发冲突；如果是本地调试运行，可以去掉这个标记。

代码中使用对应连接器 #

在Scala代码里，要使用FlinkKafkaConsumer011（对应0.11系列连接器），示例代码如下：

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011
import org.apache.kafka.clients.consumer.ConsumerConfig
import java.util.Properties

object FlinkKafkaIntegrationDemo {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    
    // 配置Kafka连接参数
    val kafkaProps = new Properties()
    kafkaProps.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "你的Kafka地址:9092")
    kafkaProps.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "flink-kafka-consumer-group")
    kafkaProps.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest")
    
    // 创建Kafka数据源
    val kafkaSource = new FlinkKafkaConsumer011[String](
      "目标topic名称",
      new org.apache.flink.api.common.serialization.SimpleStringSchema(),
      kafkaProps
    )
    
    // 处理并输出数据流
    val stream = env.addSource(kafkaSource)
    stream.print("收到Kafka消息: ")
    
    env.execute("Flink-Kafka集成任务")
  }
}

额外注意事项 #

• 确保你的项目Scala版本为2.11，和Kafka的2.11-1.0.0版本匹配
• 如果使用sbt-assembly等打包插件，要配置好依赖冲突排除规则，避免重复打包相同依赖
• 确认你的Maven仓库配置正确，flink-connector-kafka-0.11_2.11:1.4.0是官方发布的合法依赖，一定能找到

内容的提问来源于stack exchange，提问作者Joe