Debezium对接PostgreSQL只读副本的可行性及替代方案咨询

Debezium连接只读副本的风险与可行配置 #

虽然Debezium官方声明不支持只读数据库，但通过针对性调整配置确实可以实现连接，不过需要明确潜在风险并做好适配：

核心配置调整 #

• 禁用心跳表：Debezium默认会创建心跳表监控连接，只读副本无写入权限，需设置 heartbeat.interval.ms=0 关闭该功能。
• 预创建复制槽：在主数据库提前创建逻辑复制槽（执行 SELECT pg_create_logical_replication_slot('your_slot_name', 'pgoutput');），然后在Debezium配置中指定 slot.name=your_slot_name，避免副本因无权限创建槽而报错。
• 权限配置：确保Debezium使用的数据库账号仅拥有目标表的 SELECT 权限，以及复制槽的 USAGE 权限，无需任何写入权限。
• 验证WAL配置：主库和副本的 wal_level 需设置为 logical，且副本采用流式复制同步，保证CDC数据的完整性。

潜在风险 #

• 只读副本的同步延迟可能导致CDC数据滞后于主库，需持续监控副本延迟情况。
• 若副本故障切换，需重新配置Debezium连接至新副本，且需确保新副本已同步对应复制槽。
• 官方不支持该场景，遇到问题无法获得官方技术支持，需自行排查解决。

替代工具选项 #

如果不想依赖非官方支持的Debezium配置，可选择以下适配只读副本的CDC工具：

• 自定义pg_output消费者：直接基于PostgreSQL原生逻辑复制协议，编写代码读取只读副本的复制槽数据，完全适配只读环境，灵活性高，但需自行处理数据解析、转换与分发逻辑。
• Litestream：轻量级CDC工具，基于物理复制实现，支持从只读副本读取WAL日志，配置简单，适合小体量数据的同步场景。
• Flink CDC：其PostgreSQL CDC连接器支持从只读副本读取数据，前提是主库已配置逻辑复制并创建对应复制槽，适合需要实时数据处理的场景。
• Striim：企业级实时数据集成工具，提供现成的PostgreSQL只读副本CDC连接器，稳定性强，但属于商业工具，有成本投入。

内容的提问来源于stack exchange，提问作者Trourest