Debezium对接PostgreSQL：WAL被清理后的数据完整性保障疑问

问题背景 #

我在容器中部署了Debezium，用于捕获PostgreSQL数据库记录的所有变更，但对其部分工作机制存在疑问。根据Debezium文档：

PostgreSQL通常会在一段时间后清理预写日志（WAL）段，这意味着连接器无法获取数据库所有变更的完整历史。因此PostgreSQL连接器首次连接时，会先对各数据库模式执行一致性快照，完成后从快照结束的精确位置开始流式处理变更，确保初始数据视图一致且不遗漏快照期间的变更。连接器具备故障容错能力，读取变更生成事件时会记录每个事件的WAL位置，若因任何原因停止，重启后会从上次中断的位置继续读取WAL；若快照期间停止，重启后会重新执行快照。

我的疑问是：当快照完成后连接器基于WAL流式处理时，若连接器宕机，且在其重启前WAL已被清理/刷新，Debezium如何保障数据完整性？

解答 #

这种场景下，Debezium会通过触发全量重新快照来保障数据完整性，具体逻辑如下：

• 连接器重启后，会尝试从上次记录的WAL位置开始读取，但如果对应的WAL段已经被PostgreSQL清理，Debezium会检测到这个位置不可访问。
• 此时连接器会判定流式处理的断点已丢失，无法继续增量同步，于是自动启动新一轮的一致性快照。
• 新快照完成后，连接器会从快照结束的最新WAL位置重新开始流式处理，以此恢复到与源库一致的数据视图，避免数据丢失。

另外要注意，这是兜底的故障恢复机制，实际生产中应该通过配置PostgreSQL来避免WAL被过早清理：

• 调整wal_keep_size参数，设置足够大的保留空间，确保WAL段能留存到连接器大概率重启的时间窗口内。
• 配置WAL归档（比如归档到对象存储），让PostgreSQL将过期WAL备份到持久化存储，即使本地WAL被清理，Debezium也能从归档中读取历史WAL，无需触发重新快照。

内容的提问来源于stack exchange，提问作者Stavros Koureas