Debezium MySQL：2个连接器实现负载分担与高可用性可行吗？

Debezium MySQL连接器不支持单数据库多进程的负载分担式水平扩展，核心原因和MySQL binlog机制、Debezium的设计逻辑相关：

• 部署不同server-id的连接器时，每个进程会独立读取MySQL的binlog，各自维护自己的消费进度，因此会收到完全相同的事件，出现你观察到的重复消费情况。
• 使用相同server-id时，MySQL会判定为同一客户端的重复连接，直接终止旧连接，导致第一个进程报错，这是MySQL的原生限制，而非Debezium的问题。

如果要实现负载拆分或高可用，可采用以下两种方案：

• 按数据源拆分任务：部署多个Debezium连接器，每个连接器负责不同的数据库或表（通过配置database.include.list或table.include.list指定），让不同进程处理不同的数据源，实现负载分摊。
• 基于Kafka Connect分布式模式实现高可用：将Kafka Connect运行在分布式模式下，仅配置一个Debezium MySQL连接器。此时Kafka Connect会自动管理Worker节点的任务调度，若某个节点故障，任务会自动转移到其他节点，实现高可用（注：单连接器任务仍由单个Worker进程处理，无法拆分负载，负载分担需结合上述数据源拆分方案）。

需注意：Debezium MySQL连接器依赖GTID或binlog位置跟踪消费进度，多个独立连接器无法协同进度，因此无法实现同一数据源的负载分担。

内容的提问来源于stack exchange，提问作者user1189332