Kafka 0.9 MirrorMaker连接IBM Message Hub（Kafka 0.10）失败求助

我之前帮别人解决过类似的Kafka 0.9 MirrorMaker对接IBM Message Hub的问题，下面是经过验证的配置步骤，帮你打通连接：

一、配置 JAAS 认证文件 #

IBM Message Hub 要求使用 SASL 认证，Kafka 0.9 客户端需要通过 JAAS 配置来加载认证模块。你需要创建一个 JAAS 配置文件（比如命名为 messagehub_jaas.conf），内容如下：

KafkaClient {
    com.ibm.messagehub.login.MessageHubLoginModule required
    serviceName="kafka"
    username="你的Message Hub服务凭证用户名"
    password="你的Message Hub服务凭证密码";
};

关键说明： #

• MessageHubLoginModule 是 IBM 提供的认证模块，你需要从 Message Hub 官方 Java 客户端包中获取包含该类的 JAR 文件，并将其添加到 MirrorMaker 的类路径中。
• 替换配置中的 username 和 password 为你在 IBM Cloud 上获取的 Message Hub 服务凭证里的对应字段（不要混淆 API Key 和密码，以服务凭证中的实际值为准）。

二、配置 MirrorMaker 的 Producer/Consumer #

MirrorMaker 需要分别配置源集群（你要镜像的 Kafka 0.9 集群）和目标集群（Message Hub）的参数。重点是目标集群的配置：

1. 目标集群（Message Hub）配置文件（比如 producer.properties） #

bootstrap.servers=你的Message Hub代理地址（多个地址用逗号分隔）
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
ssl.truststore.location=${JAVA_HOME}/jre/lib/security/cacerts
ssl.truststore.password=changeit
acks=all
retries=3

2. 源集群配置文件（比如 consumer.properties） #

按你现有 Kafka 0.9 集群的正常配置即可，比如指定 bootstrap.servers、group.id 等基础参数。

三、启动 MirrorMaker #

使用 Kafka 0.9 提供的 kafka-mirror-maker.sh（Linux/macOS）或 .bat（Windows）脚本启动，命令示例如下：

bin/kafka-mirror-maker.sh \
  --consumer.config consumer.properties \
  --producer.config producer.properties \
  --whitelist "需要镜像的主题，比如^my-topic-.*" \
  --java.security.auth.login.config=/绝对路径/messagehub_jaas.conf \
  --classpath=/path/to/message-hub-client.jar:/path/to/依赖JAR包/*

启动参数说明： #

• --java.security.auth.login.config：指定你创建的 JAAS 配置文件的绝对路径
• --classpath：必须包含 MessageHubLoginModule 所在的 JAR，以及它的依赖包（比如 Jackson 相关 JAR），确保 MirrorMaker 能加载到认证模块

四、常见问题排查 #

• 类找不到错误：检查 classpath 是否包含了 MessageHubLoginModule 所在的 JAR
• 认证失败：确认 JAAS 文件中的用户名、密码是否正确，服务凭证是否有权限访问目标主题
• SSL 连接失败：检查 ssl.truststore.location 路径是否正确，默认的 cacerts 通常已包含 Message Hub 的 SSL 证书，如果不行可以使用 Message Hub 提供的自定义 truststore

内容的提问来源于stack exchange，提问作者Edoardo Basili