Kafka Mirror Maker源Kafka恢复后自动拉取数据的配置咨询

要解决源Kafka恢复后Mirror Maker无法自动重启拉取的问题，核心是调整Mirror Maker消费者端的重连策略和会话存活配置，具体关键配置如下：

• reconnect.backoff.ms：设置初始重连间隔（单位：毫秒），建议设为1000（1秒）。每次连接失败后，重连间隔会指数级递增，直到达到最大值。
• reconnect.backoff.max.ms：设置最大重连间隔（单位：毫秒），建议设为30000（30秒）。这个配置能让Mirror Maker持续尝试连接源Kafka，避免短时间内就停止重试。
• max.poll.interval.ms：调整消费者两次拉取请求的最大间隔时间，建议设为86400000（24小时）。源Kafka宕机时，Mirror Maker无法拉取数据，若该值过小，消费者会被判定为超时并退出消费组，导致源恢复后无法自动恢复拉取。调大该值可确保消费者在长时间无法拉取时仍保持组内活跃状态。
• session.timeout.ms：设置消费者与源Kafka broker的会话超时时间，建议设为30000（30秒）。避免重连过程中被broker判定为离线，确保消费者身份持续有效。

配置示例（适用于传统Mirror Maker） #

在Mirror Maker的消费者配置文件中添加以下参数：

reconnect.backoff.ms=1000
reconnect.backoff.max.ms=30000
max.poll.interval.ms=86400000
session.timeout.ms=30000

注意事项（针对Mirror Maker 2.0） #

如果使用的是Kafka 2.0+的Mirror Maker 2.0（基于Kafka Connect），配置需要添加source.consumer.前缀，例如：

source.consumer.reconnect.backoff.ms=1000
source.consumer.reconnect.backoff.max.ms=30000
source.consumer.max.poll.interval.ms=86400000
source.consumer.session.timeout.ms=30000

调整上述配置后，Mirror Maker会在源Kafka宕机期间持续按策略尝试重连，当源Kafka恢复正常后，会自动恢复数据拉取，无需手动重启服务。

内容的提问来源于stack exchange，提问作者Prasad