本地Druid连接远程Kafka失败求助：元数据获取超时问题

1. Topic名称拼写不匹配 #

你在Druid中填写的Topic名称是active，但错误日志显示系统尝试访问的是activity，名称不一致会直接导致元数据获取失败。

• 解决：修正Druid中的Topic名称为activity，或确认Kafka中实际存在的Topic名称，保持两者完全一致。

2. Bootstrap Servers配置错误 #

你填写的地址列表重复了bb.adress.com:9092，遗漏了cc.adress.com:9092，这会减少可用Broker节点，增加单点依赖引发超时的概率。

• 解决：修正Bootstrap Servers为aa.adress.com:9092,bb.adress.com:9092,cc.adress.com:9092。

3. SASL认证配置缺失 #

你的Kafka使用SASL_PLAINTEXT协议，但Druid连接时未配置对应的SASL认证信息——即使端口能连通，无合法认证的请求会被Kafka拒绝，最终表现为元数据获取超时。

• 解决：在Druid的Kafka数据源配置的「高级配置」或「附加属性」区域添加以下参数：
  • security.protocol=SASL_PLAINTEXT
  • sasl.mechanism=PLAIN
  • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="你的Kafka用户名" password="你的Kafka密码";

4. Kafka Broker的Advertised Listeners配置问题 #

裸金属环境下，若Kafka Broker的advertised.listeners配置了Druid无法解析/访问的地址（比如仅内网IP或未在Druid环境中配置DNS解析的主机名），会出现：Druid能连通Bootstrap Servers的端口，但Broker返回的元数据中包含不可达的Listener地址，后续请求超时。

• 解决：检查Kafka Broker的server.properties文件，确保advertised.listeners配置的是Druid能够访问的地址（如SASL_PLAINTEXT://aa.adress.com:9092），且与Bootstrap Servers使用的地址一致。

5. 网络隐性限制 #

即使本地能连通端口，仍可能存在以下问题：

• Druid进程的网络权限受限：比如本地用个人用户测试连通，但Druid运行在服务账户下，防火墙规则限制了该账户的网络请求。
• Kafka Broker的安全组/防火墙规则：仅允许特定IP访问，Druid所在机器的IP未被加入白名单。
• 解决：
  • 以Druid运行账户的身份测试Kafka连通性：比如创建包含SASL认证参数的配置文件sasl-config.properties，执行sudo -u druid kafka-topics.sh --list --bootstrap-server aa.adress.com:9092 --command-config sasl-config.properties验证。
  • 检查Kafka所在机器的防火墙/安全组规则，确保Druid机器的IP能访问9092端口。

内容的提问来源于stack exchange，提问作者user10926861