升级Flink至1.17.1后遇UnsupportedVersionException问题求助

1. 排查Flink与Kafka客户端的依赖冲突 #

Flink 1.17.1默认依赖的Kafka客户端版本为3.2.0，你手动指定的2.0.0版本大概率被Flink自带的高版本覆盖，或存在依赖传递冲突：

• 执行以下命令分析依赖树，确认实际生效的kafka-clients版本：

  mvn dependency:tree | grep kafka-clients
  

• 若发现实际使用版本并非2.0.0，需在pom.xml中对Flink Kafka连接器依赖排除自带的kafka-clients，同时确保自定义的kafka-clients依赖生效：

  <!-- Flink Kafka连接器依赖，排除自带的kafka-clients -->
  <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-kafka</artifactId>
      <version>1.17.1</version>
      <exclusions>
          <exclusion>
              <groupId>org.apache.kafka</groupId>
              <artifactId>kafka-clients</artifactId>
          </exclusion>
      </exclusions>
  </dependency>
  
  <!-- 自定义kafka-clients依赖 -->
  <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-clients</artifactId>
      <version>2.0.0</version>
      <scope>compile</scope>
  </dependency>
  

2. 验证Kafka集群版本兼容性 #

错误提示无法创建v0版本的FindCoordinator请求，说明集群版本应为2.0.0及以上，但客户端与集群的协议不匹配：

• 检查Kafka集群的实际版本：

  kafka-topics.sh --version
  

• 若集群版本为3.x，建议将kafka-clients版本升级至3.x（与Flink默认的3.2.0匹配），Kafka客户端与集群的版本差不宜超过1个大版本，否则易出现协议兼容问题。

3. 调整Flink Kafka连接器配置 #

Flink 1.17.1的Kafka连接器新增部分配置项，可能影响协议交互：

• 在连接器配置中显式指定客户端DNS lookup策略：

  properties.setProperty("client.dns.lookup", "use_all_dns_ips");
  

• 确保bootstrap.servers配置为正确的Kafka Broker地址，避免客户端尝试旧版本的协调器发现协议。

4. 清理依赖缓存并重新构建 #

若本地Maven缓存存在旧版本依赖残留，可能导致加载异常：

• 删除本地仓库中kafka-clients相关缓存：

  rm -rf ~/.m2/repository/org/apache/kafka/kafka-clients/
  

• 重新执行构建：

  mvn clean package -DskipTests
  

内容的提问来源于stack exchange，提问作者Sai Ashish