使用Kafka Client 1.0.1向GCP远程Kafka Broker 1.1.0发消息超时失败

这个问题我之前帮不少开发者排查过，核心原因是advertised.listeners的配置和公网访问场景不匹配，咱们一步步来解决：

1. 修正最关键的advertised.listeners配置 #

你的Broker现在配置的advertised.listeners=PLAINTEXT://<Local-IP>:9092是本地内网IP，当公网的Producer连接Broker的公网IP后，Broker会把这个本地IP返回给Producer，Producer根本无法访问内网IP，自然会超时。

修改server.properties：

advertised.listeners=PLAINTEXT://<你的Google云公网IP>:9092

修改后重启Kafka Broker生效。

2. 检查谷歌云防火墙规则 #

谷歌云默认会阻止外部访问实例的端口，必须手动开放9092端口：

• 登录Google Cloud控制台，进入VPC网络 > 防火墙规则
• 创建新规则：
  • 名称：比如allow-kafka-external
  • 目标：选择Kafka实例所在的实例组或单个实例
  • 来源IP范围：如果是测试可以填0.0.0.0/0，生产环境建议限制为Producer所在的IP段
  • 协议和端口：选择tcp，填写9092
  • 动作：允许

3. 验证Broker的监听状态 #

在Kafka实例上执行命令，确认Broker确实在监听所有网卡的9092端口：

netstat -tulpn | grep 9092
# 或者用更现代的ss命令
ss -tulpn | grep 9092

输出应该包含0.0.0.0:9092，说明listeners的配置已经生效。

4. 优化Producer配置（可选但推荐） #

虽然核心问题是Broker端配置，但可以调整Producer参数降低超时概率：

Properties props = new Properties();
props.put("bootstrap.servers", "Public-IP:9092");
props.put("acks", "all"); // 确保消息被所有副本确认
props.put("request.timeout.ms", "30000"); // 调大请求超时时间
props.put("delivery.timeout.ms", "60000"); // 调大投递超时时间
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

5. 版本兼容性确认 #

Kafka 1.1.0的Broker和1.0.1的Client API是兼容的（Kafka允许Client和Broker版本差一个小版本），所以这个不是主要问题，但如果以上步骤都无效，可以尝试把Client API升级到1.1.0版本再测试。

内容的提问来源于stack exchange，提问作者Suvro Ghosh