配置Kafka多监听器后Kafka Connect启动失败的解决办法

问题背景 #

我正在部署Confluent单节点实例，仅操作connect-standalone.properties和server.properties文件。为让远程生产者连接本地环境，在server.properties中配置了以下内容：

listeners=PLAINTEXT://10.20.23.105:9092,EXTERNAL://10.20.23.105:29092

advertised.listeners=PLAINTEXT://10.20.23.105:9092,EXTERNAL://localhost:29092

listener.security.protocol.map=PLAINTEXT:PLAINTEXT,EXTERNAL:PLAINTEXT

通过Offset Explorer验证，Kafka可正常工作并接收远程流，但启动Kafka Connect服务时失败，错误日志如下：

[2023-02-13 10:26:02,992] ERROR Stopping due to error (org.apache.kafka.connect.cli.ConnectDistributed:85)
org.apache.kafka.connect.errors.ConnectException: Failed to connect to and describe Kafka cluster. Check worker's broker connection and security properties.
        at org.apache.kafka.connect.util.ConnectUtils.lookupKafkaClusterId(ConnectUtils.java:79)
        at org.apache.kafka.connect.util.ConnectUtils.lookupKafkaClusterId(ConnectUtils.java:60)
        at org.apache.kafka.connect.cli.ConnectDistributed.startConnect(ConnectDistributed.java:96)
        at org.apache.kafka.connect.cli.ConnectDistributed.main(ConnectDistributed.java:79)
Caused by: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment. Call: listNodes
        at java.base/java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:395)
        at java.base/java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1999)
        at org.apache.kafka.common.internals.KafkaFutureImpl.get(KafkaFutureImpl.java:165)
        at org.apache.kafka.connect.util.ConnectUtils.lookupKafkaClusterId(ConnectUtils.java:73)

已查阅相关问题，但因外部监听器仍使用PLAINTEXT，不确定是否需要修改Worker配置，求可能的解决办法。

可能的解决办法 #

• 检查Connect配置的bootstrap.servers
  确保connect-standalone.properties中的bootstrap.servers指向Kafka broker的本地可访问地址。由于Connect运行在同一节点，建议配置为PLAINTEXT://10.20.23.105:9092或PLAINTEXT://localhost:9092。如果之前配置的是localhost:29092，会因为advertised.listeners中EXTERNAL绑定的是localhost，导致Connect无法正确获取集群节点信息，出现超时。

• 调整advertised.listeners的EXTERNAL配置
  如果需要Connect通过EXTERNAL监听器连接，需确保该监听器的advertised地址对Connect可见。可将EXTERNAL://localhost:29092改为EXTERNAL://10.20.23.105:29092，这样本地Connect和远程生产者都能通过对应IP访问。注意远程生产者此时需使用10.20.23.105:29092连接，需根据实际需求调整。

• 验证网络连通性
  在Connect所在节点执行telnet 10.20.23.105 9092或nc -zv 10.20.23.105 9092，确认端口可正常访问。同时检查防火墙规则，确保9092、29092端口未被拦截。

• 确认Kafka broker的监听状态
  执行netstat -tulpn | grep 9092，验证broker是否在10.20.23.105:9092和10.20.23.105:29092上正常监听。如果绑定的是0.0.0.0也可正常工作，但需确保advertised.listeners的地址与客户端访问逻辑匹配。

• 检查Connect的额外网络配置
  虽然仅操作了两个properties文件，但如果Connect配置中存在listeners或advertised.listeners相关参数，需确保这些配置与broker的网络逻辑一致，避免地址不匹配导致的连接问题。

内容的提问来源于stack exchange，提问作者Kafkaesque