AWS MSK 部署 MirrorMaker 2 无数据复制且连接器列表为空问题求助
问题排查与解决方案
1. 先校验提交的配置文件合法性
你贴出的curl响应体存在明显的JSON截断:topic.creatio* Connection #0 to host host.cloud2.domain.com left intact 后才拼接剩余的配置字段,说明你提交的/app/kafka/config/worker.json大概率存在JSON语法错误。
- 本地校验配置格式:执行
jq . /app/kafka/config/worker.json,如果返回解析报错,优先修正配置的格式问题(比如引号未闭合、非法字符、逗号遗漏等)
2. 补全缺失的权限配置
你当前给svc_1账号配置的权限存在明显遗漏:
- 目标集群TOPICS需要补充
WRITE权限:同步数据需要向目标端topic写入数据,仅READ权限无法完成写入操作 - 补充MM2内部主题的权限:MM2运行需要操作
offset-syncs内部主题,需要给该主题授予READ/WRITE权限 - Kafka Connect自身运行权限:如果你的Connect进程使用svc_1账号访问集群,需要给Connect的三个内部主题(
config.storage.topic/offset.storage.topic/status.storage.topic)授予CREATE/READ/WRITE/DESCRIBE/DESCRIBE_CONFIGS权限,否则Connect无法持久化连接器配置,就会出现POST返回201但查询列表为空的情况
3. 检查集群连通性配置
你提交的配置中源集群的地址存在拼写错误:
- 源端bootstrap地址为
b-1.kafka.uswest-2.amazonaws.com:9096,缺少区域前缀的横杠,正确格式应为us-west-2,和目标端地址的区域格式一致,地址错误会导致无法连接源集群拉取数据 - 登录部署Connect的EC2实例,分别测试源端、目标端MSK的9096端口连通性,同时用
kafka-console-consumer/kafka-console-producer工具配合svc_1账号验证生产消费功能是否正常,排除安全组、账号认证本身的问题
4. 排查Connect运行状态
- 调整Connect进程的日志级别到INFO/DEBUG,默认日志级别过高可能会过滤掉权限报错、配置加载失败的关键日志
- 手动触发连接器重启:执行
curl -X POST http://host.cloud2.domain.com:8083/connectors/worker-prod-01-mm2-worker/restart,之后调用curl http://host.cloud2.domain.com:8083/connectors/worker-prod-01-mm2-worker/status查看连接器的具体运行状态和报错信息
5. 版本兼容性确认
AWS MSK 2.7.0版本配套的MM2存在部分已知的任务调度bug,你可以尝试将tasks.max调整为1,排查是否是多任务调度异常导致的无同步问题。
内容的提问来源于stack exchange,提问作者Red8rain
相关产品推荐
相关产品推荐

