大型PostgreSQL数据库配置Debezium时推荐多少个Kafka连接器？

Debezium可监控任意数量的数据库，单个Kafka Connect服务集群可部署的连接器数量取决于事件体量与生成速率，同时Debezium支持多Kafka Connect服务集群部署，必要时也可使用多套Kafka集群。

不同部署方案的适用边界 #

• 单库单连接器：单库待同步表数量<200、峰值变更QPS<5w的场景完全够用，不会成为性能瓶颈。如果要提升性能，优先做几个配置优化：
  • PostgreSQL端配置逻辑复制槽参数 slot.stream.params=max_slot_wal_keep_size=16GB，避免WAL堆积撑爆磁盘
  • 连接器侧调优 batch.size=32768、max.batch.size=2048、poll.interval.ms=500，提升单次拉取的批次上限和拉取频率
  • 必须配置 table.include.list 精准圈定待同步表，不要全表拉取，大量无效表的变更事件是最常见的性能瓶颈诱因
• 同库多连接器（生产大库最常用的折衷方案）：当单库待同步表>200、峰值变更QPS>5w时，优先按业务域、变更频率拆分表到不同连接器，比如高频变更的交易、支付类表单独归为一个连接器，低频的配置、用户类表归为另一个。我司12T量级的PostgreSQL业务库共800+待同步表，拆分6个连接器承载峰值12w变更QPS，稳定运行半年无性能故障。
  • 注意每个连接器必须对应独立的唯一逻辑复制槽，禁止多连接器共用一个槽，否则会出现数据重复、丢失问题
• 单表单连接器：仅当单表峰值变更QPS>3w、单表数据量>5T，且该表同步链路有独立SLA要求时使用，否则大量连接器会导致Kafka Connect集群管理成本陡增，也会造成不必要的资源浪费

Kafka Connect集群配置经验 #

• 单个Kafka Connect集群的连接器总数不要超过50个，每个节点分配8~16G堆内存即可，超过阈值直接拆分多套Connect集群，按业务域隔离部署，避免单集群故障影响全量同步链路
• 必须开启Exactly Once语义，配置 offset.flush.interval.ms=60000，避免集群故障重启后出现事件丢失或重复消费问题

内容的提问来源于stack exchange，提问作者minhadona