You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

AWS MSK 部署 MirrorMaker 2 无数据复制且连接器列表为空问题求助

问题排查与解决方案

1. 先校验提交的配置文件合法性

你贴出的curl响应体存在明显的JSON截断:topic.creatio* Connection #0 to host host.cloud2.domain.com left intact 后才拼接剩余的配置字段,说明你提交的/app/kafka/config/worker.json大概率存在JSON语法错误。

  • 本地校验配置格式:执行 jq . /app/kafka/config/worker.json,如果返回解析报错,优先修正配置的格式问题(比如引号未闭合、非法字符、逗号遗漏等)

2. 补全缺失的权限配置

你当前给svc_1账号配置的权限存在明显遗漏:

  • 目标集群TOPICS需要补充WRITE权限:同步数据需要向目标端topic写入数据,仅READ权限无法完成写入操作
  • 补充MM2内部主题的权限:MM2运行需要操作offset-syncs内部主题,需要给该主题授予READ/WRITE权限
  • Kafka Connect自身运行权限:如果你的Connect进程使用svc_1账号访问集群,需要给Connect的三个内部主题(config.storage.topic/offset.storage.topic/status.storage.topic)授予CREATE/READ/WRITE/DESCRIBE/DESCRIBE_CONFIGS权限,否则Connect无法持久化连接器配置,就会出现POST返回201但查询列表为空的情况

3. 检查集群连通性配置

你提交的配置中源集群的地址存在拼写错误:

  • 源端bootstrap地址为 b-1.kafka.uswest-2.amazonaws.com:9096,缺少区域前缀的横杠,正确格式应为us-west-2,和目标端地址的区域格式一致,地址错误会导致无法连接源集群拉取数据
  • 登录部署Connect的EC2实例,分别测试源端、目标端MSK的9096端口连通性,同时用kafka-console-consumer/kafka-console-producer工具配合svc_1账号验证生产消费功能是否正常,排除安全组、账号认证本身的问题

4. 排查Connect运行状态

  • 调整Connect进程的日志级别到INFO/DEBUG,默认日志级别过高可能会过滤掉权限报错、配置加载失败的关键日志
  • 手动触发连接器重启:执行 curl -X POST http://host.cloud2.domain.com:8083/connectors/worker-prod-01-mm2-worker/restart,之后调用 curl http://host.cloud2.domain.com:8083/connectors/worker-prod-01-mm2-worker/status 查看连接器的具体运行状态和报错信息

5. 版本兼容性确认

AWS MSK 2.7.0版本配套的MM2存在部分已知的任务调度bug,你可以尝试将tasks.max调整为1,排查是否是多任务调度异常导致的无同步问题。

内容的提问来源于stack exchange,提问作者Red8rain

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.09.26 05:54:06