MongoDB-Kafka连接器连接AWS MSK失败：配置修正与日志查看

一、MongoDB Kafka源连接器正确配置示例 #

你的现有配置缺少部分关键参数，且需确保占位符已替换为真实有效值。以下是符合AWS MSK要求的完整配置模板：

name=mongo-source
connector.class=com.mongodb.kafka.connect.MongoSourceConnector
tasks.max=1
# 替换为真实MongoDB连接URI，副本集格式示例：mongodb://user:pass@host1:27017,host2:27017/db?replicaSet=rs0
connection.uri=mongodb://<username>:<password>@<mongo-host>:<port>/<database.name>?authSource=admin
database=<database.name>
collection=<coll.name>
topic.prefix=Topic1
# 可选但推荐的参数
batch.size=1000
poll.max.batch.size=5000
poll.await.time.ms=5000
# 若MongoDB启用TLS，添加以下配置
# ssl.enabled=true
# ssl.invalid.hostname.allowed=false

配置注意事项： #

• connection.uri：必须替换为包含认证信息（若启用）、正确主机/端口的有效URI；副本集环境需列出所有节点并指定replicaSet参数。
• 认证参数：若MongoDB开启用户名密码认证，需在URI中包含<username>:<password>，并指定authSource（通常为admin）。
• 必填参数验证：确保database、collection、topic.prefix均为真实存在的资源名称，无拼写错误。

二、查看AWS MSK连接器日志定位问题 #

AWS MSK Connect会将连接器日志输出到CloudWatch，具体查看步骤：

1. 登录AWS控制台，打开CloudWatch服务。
2. 在左侧导航栏选择日志组，搜索包含msk-connect关键字的日志组（通常格式为aws/msk-connect/<connector-name>）。
3. 进入对应日志组后，选择具体的日志流，查看详细日志内容。日志中会包含配置校验失败的具体原因，比如：
   • MongoDB连接URI格式错误
   • 认证凭证无效
   • 目标数据库/集合不存在
   • 网络连通性问题（MSK集群无法访问MongoDB）

内容的提问来源于stack exchange，提问作者A Rafay