如何在AWS Debezium中设置LSN以从指定LSN开始采集事件日志

核心逻辑 #

你手里的备份完成时的LSN，完全可以用来让Debezium跳过前100条历史记录，只从第101条开始采集。关键是要搞懂变更LSN和提交LSN的区别，再把正确的参数配置到Debezium连接器里。

1. 选对LSN类型 #

你备份后获取的LSN应该是提交LSN——也就是备份结束时数据库所有已提交事务的最终LSN。用这个作为起始点最可靠，能确保Debezium从备份后的第一个新事务开始采集，不会重复同步前100条记录。

• 变更LSN：单条数据变更对应的LSN，用来定位具体行的修改位置，不适合作为全局起始点。
• 提交LSN：整个事务提交时的LSN，代表该事务所有变更都已持久化的位置，是配置起始采集点的正确选择。

2. Debezium连接器关键配置 #

以PostgreSQL（LSN是PostgreSQL的专属概念）为例，针对AWS MSK的Debezium连接器，需要添加这些核心配置：

必配参数 #

# 基础连接信息
connector.class=io.debezium.connector.postgresql.PostgresConnector
database.hostname=<你的PostgreSQL主机地址>
database.port=5432
database.user=<数据库用户名>
database.password=<数据库密码>
database.dbname=<目标数据库名>
database.server.name=employee-cdc-cluster
tasks.max=1

# 跳过初始快照（已经做过备份恢复，不需要再同步历史数据）
snapshot.mode=never

# 逻辑复制相关配置
slot.name=employee_cdc_new_slot  # 用新的复制槽，避免旧位置记录干扰
publication.name=employee_publication  # 关联只包含Employee表的发布
plugin.name=pgoutput  # PostgreSQL 10+推荐使用的插件

# 核心：指定起始LSN，替换成你备份后拿到的LSN值
initial.offset.lsn=0/12345678

# 仅监听Employee表
table.include.list=public.employee

3. 验证配置效果 #

启动连接器后，查看Debezium日志，确认出现类似Starting from LSN 0/12345678的日志。然后在Employee表插入第101条记录，检查AWS MSK对应的主题，应该只收到这条新记录的CDC事件，前100条不会被同步。

注意事项 #

• 必须新建复制槽，旧复制槽可能保留了之前的采集位置，会导致Debezium从旧点开始采集。
• 确认PostgreSQL的wal_level已设置为logical（逻辑复制的必要条件）。
• 如果用AWS RDS PostgreSQL，要确保数据库用户有rds_superuser权限或专门的逻辑复制权限。

内容的提问来源于stack exchange，提问作者Rohit Gupta