分布式模式下Kafka Connect集群是否总能实现合理负载分配？

Kafka Connect 集群不会100%保证你遇到的这类跨实例均匀分配的负载行为，实际分配逻辑由以下因素共同决定：

• 默认分配策略是RoundRobinAssignor：正常集群节点数充足、没有任务失败重调度的场景下，该策略会尽可能将连接器、任务均匀打散到所有可用worker实例上，你目前看到的两个连接器各运行在一个实例的情况，就是该策略的典型表现。
• 以下例外场景会打破均匀分配效果：
  • 集群刚启动、多个worker同时上线时，可能出现分配逻辑竞争，短时间内出现多个任务挤在同一个实例的情况，后续触发rebalance后会自动修正
  • 2.3.0+版本支持配置节点亲和/排斥规则，如果连接器配置了特殊的亲和规则，会导致任务集中分配到符合规则的少量实例上
  • 某实例突然离线触发rebalance时，任务会先调度到剩余可用实例上，等原实例恢复后，不会自动触发任务回迁，除非主动触发重分配
  • 连接器配置的tasks.max大于实际能生成的任务数时，也可能出现分配不均的情况
• 如果你需要强制实现均匀分配，可以手动调整：
  • 保持使用默认的RoundRobinAssignor，不要切换为旧版本默认的org.apache.kafka.connect.runtime.distributed.DefaultAssignor，后者分配逻辑更粗糙，容易出现负载不均
  • 每次新增连接器、或者故障实例恢复后，手动调用PUT /connectors/{connector_name}/restart?restartTasks=true接口触发任务重分配，即可让负载重新均匀打散

注意：不要在生产环境流量峰值期触发连接器重启操作，会导致短暂的任务中断，影响数据同步效率。

内容的提问来源于stack exchange，提问作者Selvakumar Ponnusamy