Kafka Mirror Maker转发REST请求时出现报错

• 网络连通性问题：跨集群网络出现短暂断连、高延迟或丢包，导致Mirror Maker的消费者/生产者会话超时。可以持续用ping、traceroute工具监测两集群间的网络状态，同时查看Kafka broker的network模块日志，确认是否有连接中断记录。
• 主题配置不匹配：源集群与目标集群的主题关键配置不一致，比如min.insync.replicas设置高于目标集群的可用副本数，Mirror Maker写入时无法满足ISR要求，触发写入失败。用命令kafka-topics.sh --describe --topic <目标主题名> --bootstrap-server <目标集群地址>对比源主题配置，重点检查副本数、ISR相关参数。
• Mirror Maker参数配置不合理：消费者的session.timeout.ms、生产者的request.timeout.ms设置过短，当网络延迟波动时触发超时；或者offset.commit.interval.ms设置过长，导致偏移量提交失败。检查Mirror Maker配置文件中消费者和生产者的超时类参数，适当调大超时阈值。
• 目标集群资源耗尽：目标集群的磁盘IO、CPU或内存资源不足，无法处理Mirror Maker的写入请求，引发超时或拒绝。查看目标集群broker的server.log，关注磁盘使用率告警、GC耗时过长、线程池满等资源相关日志。
• 权限变更：Mirror Maker使用的账号在源集群的消费权限或目标集群的生产权限被临时回收，或ACL规则发生变更，导致突然无法访问资源。检查Kafka的authorizer.log，确认是否存在权限拒绝的日志条目。
• 源集群副本异常：源集群存在under_replicated_partitions（副本不同步），Mirror Maker消费到的消息偏移量超出了目标集群可同步的范围，触发偏移量越界错误。通过Kafka监控工具或kafka-topics.sh命令检查源集群的副本同步状态。

内容的提问来源于stack exchange，提问作者Griffin Walker