能连接Zookeeper但无法连接Kafka Broker的问题求助

从你的所有客户端表现（TCP连接建立后立即断开、元数据更新超时）以及kafkacat的调试日志来看，这绝对不是API版本不兼容的问题——核心原因是你使用了MSK的SSL加密端口（9094），但所有客户端都默认使用明文（PLAINTEXT）方式连接，导致Broker在建立TCP连接后，因为没有收到客户端的SSL握手请求，直接断开了连接。

为什么会出现这个现象？ #

AWS MSK集群的端口有明确的协议对应规则：

• 9092：明文（PLAINTEXT）连接，通常仅允许VPC内部访问
• 9094：SSL加密连接，支持VPC内外访问（即使在VPC内使用，也必须启用SSL）

你的客户端用了9094端口，但没有配置SSL协议，Broker在等待SSL握手超时后就会主动断开TCP连接，这就解释了：

• 日志A显示连接完成，日志B立刻显示socket断开
• kafkacat日志中APIVERSION_QUERY阶段直接失败（因为API版本请求是明文发送的，SSL端口不接受）

另外，telnet能连通Broker端口但无法交互的原因也在这里：telnet只会建立TCP连接，不会发送SSL握手请求，所以Broker最终会超时断开。

针对不同客户端的修复方案 #

你只需要给客户端添加SSL协议配置即可，以下是各客户端的具体配置方式：

1. kafka-python 生产者

添加security_protocol='SSL'参数：

from kafka import KafkaProducer

producer = KafkaProducer(
    bootstrap_servers=['your-msk-broker-1:9094', 'your-msk-broker-2:9094'],
    security_protocol='SSL',
    ssl_check_hostname=False  # 可选，若不需要验证Broker主机名可添加
    # AWS MSK默认使用公共CA签发的证书，无需额外指定CA文件路径
)

2. kafka-console-producer.sh

创建一个SSL配置文件，或者直接在命令行指定参数：

# 方式1：使用配置文件
kafka-console-producer.sh --broker-list your-msk-brokers:9094 --topic your-topic \
  --producer-config ssl-client.properties

其中ssl-client.properties内容：

security.protocol=SSL

# 方式2：直接在命令行指定
kafka-console-producer.sh --broker-list your-msk-brokers:9094 --topic your-topic \
  --producer-property security.protocol=SSL

3. confluent-kafka Python 客户端

在配置字典中添加security.protocol=SSL：

from confluent_kafka import Producer

conf = {
    'bootstrap.servers': 'your-msk-brokers:9094',
    'security.protocol': 'SSL'
}
producer = Producer(conf)

4. kafkacat

添加-X security.protocol=SSL参数：

kafkacat -b your-msk-brokers:9094 -L -d broker -X security.protocol=SSL

额外验证点 #

1. 确认MSK集群的端口配置：登录AWS MSK控制台，查看集群的「客户端信息」，确认你使用的端口对应的协议是否为SSL
2. 安全组规则：虽然你提到允许VPC内所有流量，但最好再确认Broker的9094端口入站规则是否包含客户端所在EC2/Lambda的安全组

内容的提问来源于stack exchange，提问作者Kilian Foth