Kafka MirrorMaker2迁移中offset.lag.max设100与9999999的优劣咨询

设置为100的优缺点 #

优点 #

• 严格保障数据一致性：确保完成迁移的消费组，目标集群与源集群的消费偏移差距控制在100条以内，业务切换后几乎不会出现重复消费或消息丢失，适合金融、交易类对数据准确性要求极高的场景。
• 降低目标集群负载：仅同步滞后量小的消费组偏移，避免短时间内批量拉取大量滞后消息，减少对目标集群的磁盘、网络和CPU资源占用。

缺点 #

• 无法覆盖全部消费组：如你的测试情况，滞后量长期大于100的消费组会被MM2判定为未就绪，无法自动完成偏移迁移，这类消费组需要手动处理，增加了迁移的工作量和复杂度。
• 拉长整体迁移周期：部分消费组需要先把滞后消息消费到阈值内才能完成迁移，导致整个迁移流程耗时变长，可能影响原定的集群切换计划。

设置为9999999的优缺点 #

优点 #

• 全量覆盖所有消费组：不管消费组滞后量多大，只要偏移能被同步就会标记为完成迁移，不会出现遗漏，适合需要快速完成全量消费组迁移的场景，简化迁移操作流程。
• 缩短迁移耗时：无需等待消费组追上滞后量，直接同步当前偏移，能快速推进迁移进度，便于按计划完成集群切换。

缺点 #

• 数据一致性风险高：目标集群与源集群的消费偏移可能存在极大差距，业务切换后，消费端从目标集群的偏移位置开始消费，会导致源集群中未同步的滞后消息要么被重复消费，要么如果后续停止同步就会直接丢失。
• 加重目标集群负载：MM2需要同步大量滞后消息，短时间内产生的复制流量会对目标集群的网络带宽、磁盘IO和CPU造成较大压力，甚至可能影响集群上现有业务的正常运行。

内容的提问来源于stack exchange，提问作者Guru