Spring Boot双向复制应用中Debezium批量事件捕获与Kafka发送方案问询

批量消息的两种实现思路 #

1. 多条数据打包进单个Payload（快速上线方案） #

直接把多条变更数据打成数组或集合存到Outbox的payload列完全没问题，适合快速落地需求：

• 操作简单：业务逻辑里批量收集变更条目，序列化成JSON数组写入payload就行
• Debezium不用额外配置：只要Outbox表结构符合要求，Debezium捕获到这条记录后，会把整个Payload内容发去Kafka
• 要注意这几点：
  • 在type字段明确标记这是批量操作（比如BATCH_UPDATE_USER_TABLE），下游消费端能根据这个标识解析数组
  • 要保证Payload序列化后的大小不超过Kafka的message.max.bytes配置上限

2. 单条Outbox记录对应单条变更（规范解耦方案） #

这是更推荐的长期方案，也就是用JPA的saveAll批量插入多条Outbox记录，每条对应一个变更条目：

• 优势很明显：
  • 下游消费逻辑更简单，不用处理批量数组，单条消息独立消费，容错性更强（某条消费失败不影响其他）
  • 符合Outbox模式的设计初衷，每条记录对应一个原子事件，排查问题也更方便
  • Debezium对批量插入的支持更成熟，不用额外改造Payload结构

Debezium监听批量变更的配置要点 #

不管用哪种方案，Debezium对批量操作的监听核心配置如下：

MySQL数据源配置 #

确保Debezium MySQL连接器开启批量事件捕获：

connector.class=io.debezium.connector.mysql.MySqlConnector
database.server.id=101
database.hostname=mysql-host
database.port=3306
database.user=debezium
database.password=password
database.dbname=your-db
table.include.list=your_schema.outbox_table
# 开启批量快照（初始化全量数据时用）
snapshot.mode=when_needed
# 关闭 schema 变更捕获，聚焦业务数据变更
include.schema.changes=false

Debezium会自动捕获saveAll产生的批量插入事件，每条Outbox记录都会转成一条Kafka消息（如果是单条记录对应单条变更的模式）。

MongoDB数据源配置 #

如果是MongoDB侧的批量Outbox写入，Debezium MongoDB连接器这么配：

connector.class=io.debezium.connector.mongodb.MongoDbConnector
mongodb.hosts=mongodb-host:27017
mongodb.name=your-mongo-cluster
mongodb.user=debezium
mongodb.password=password
collection.include.list=your_db.outbox_collection
# 用Change Streams捕获批量写入操作
capture.mode=change_streams

MongoDB的Change Streams会自动捕获批量插入的文档，Debezium会把每条Outbox文档转成Kafka消息。

额外优化建议 #

• 事务一致性：一定要把saveAll和业务操作放在同一个事务里，避免业务数据变更成功但Outbox记录插失败的情况
• Payload序列化：统一用Jackson或Gson做序列化，避免上下游解析格式不一致
• Kafka分区策略：可以根据Outbox的aggregate_id（关联业务ID）设置Kafka分区键，保证同业务实体的变更消息能有序消费

内容的提问来源于stack exchange，提问作者Sorana Pop