Scala调用Kafka生产者报Topic元数据获取TimeoutException如何解决

该异常本质是生产者客户端无法在超时时间内从Kafka集群获取到指定topic的元数据，结合你的环境描述，90%以上概率是Kafka服务端advertised.listeners配置错误导致的，具体逻辑如下：

• 你配置的bootstrap.servers=localhost:9092仅作为客户端初次连接集群的入口，仅用来拉取集群元数据。客户端拿到元数据后，会直接使用元数据中携带的broker访问地址（由服务端advertised.listeners参数决定）建立后续的所有通信连接。
• Mac环境下用默认配置启动Kafka时，advertised.listeners默认会绑定当前机器的主机名（通常是xxx.local格式）而非localhost，如果你的本地hosts文件没有把该主机名映射到127.0.0.1，客户端拿到元数据后会尝试连接这个主机名对应的地址，连接失败就会一直重试，直到触发60秒超时抛出异常。
• 自带shell脚本操作正常是因为脚本在Kafka本地目录执行时，会自动适配本地运行模式，不会走主机名的地址解析逻辑；telnet能通只能证明初始入口的TCP连接可建立，无法证明后续元数据返回的broker地址可正常访问。

你贴出的生产者代码本身没有逻辑错误，不需要调整核心业务代码。

剩余小概率诱因：

• 项目引入的Kafka客户端依赖版本和本地运行的Kafka服务端大版本不兼容，元数据请求协议不匹配导致无法正确解析返回结果。
• 本地hosts文件缺失127.0.0.1 localhost的基础映射。

1. 修改Kafka服务端配置，找到Kafka安装目录下config/server.properties文件，新增/修改如下两项配置：

# 监听所有网卡的9092端口
listeners=PLAINTEXT://0.0.0.0:9092
# 给客户端返回的broker访问地址固定为localhost
advertised.listeners=PLAINTEXT://localhost:9092

修改完成后重启Zookeeper和Kafka服务，重新运行测试代码即可。
2. 如果修改配置后仍报错，打开终端执行hostname命令拿到本机主机名，编辑/etc/hosts文件，把该主机名映射到127.0.0.1，示例：

127.0.0.1 localhost
127.0.0.1 你的主机名.local

3. 检查项目的依赖配置，保证引入的kafka-clients依赖版本和本地安装的Kafka服务端大版本一致，避免协议兼容问题。
4. 调试阶段可以在生产者配置中添加如下参数，缩短超时时长，不用等待60秒才返回错误：

props.put(ProducerConfig.REQUEST_TIMEOUT_MS_CONFIG, "10000")

内容的提问来源于stack exchange，提问作者marcin_koss