如何用Debezium捕获PostgreSQL的表结构变更？

1. 检查PostgreSQL服务器配置 #

确保postgresql.conf中以下参数正确设置，修改后重启PostgreSQL生效：

• wal_level = logical：必须开启逻辑复制，这是捕获变更的基础
• max_replication_slots = 10（数值需大于连接器数量）：允许创建复制槽
• max_wal_senders = 10（数值需大于连接器数量）：允许发送WAL日志的进程数
• track_commit_timestamp = on：辅助Debezium处理事务顺序，可选但建议开启

2. 配置Debezium PostgreSQL连接器 #

在连接器配置中添加/修改核心参数，示例配置片段：

{
  "name": "postgres-connector",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "tasks.max": "1",
    "database.hostname": "postgres-host",
    "database.port": "5432",
    "database.user": "debezium",
    "database.password": "password",
    "database.dbname": "mydb",
    "database.server.name": "postgres-server",
    "include.schema.changes": "true",
    "publication.autocreate.mode": "filtered",
    "schema.include.list": "public",
    "slot.name": "debezium_slot"
  }
}

关键参数说明：

• include.schema.changes=true：开启DDL变更捕获，默认值为false
• publication.autocreate.mode=filtered：让Debezium自动创建包含DDL发布规则的publication；若手动创建publication，需指定WITH (publish='insert,update,delete,truncate,ddl')
• schema.include.list：指定需要监听的schema（如public），留空则监听所有

3. 确保数据库用户权限 #

Debezium使用的数据库用户需具备以下权限，执行对应SQL授予：

-- 授予复制权限
GRANT REPLICATION ON DATABASE mydb TO debezium;
-- 授予目标schema的读写权限
GRANT USAGE, SELECT ON SCHEMA public TO debezium;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO debezium;
GRANT SELECT ON ALL SEQUENCES IN SCHEMA public TO debezium;
-- 授予系统表查询权限，用于获取元数据
GRANT SELECT ON pg_catalog.pg_attribute, pg_catalog.pg_class, pg_catalog.pg_namespace TO debezium;

4. 验证DDL事件捕获 #

执行DDL操作（新增/删除列、修改默认值等）后，查看Kafka对应topic：

• schema变更事件会发送到{database.server.name}.schema-changes.{schema名称}格式的topic
• 事件为JSON格式，payload字段包含DDL语句、变更类型等核心信息

常见问题排查 #

• 若未捕获到事件，先检查Debezium连接器日志，排查权限不足、复制槽创建失败等报错
• 用SHOW wal_level;确认PostgreSQL的wal_level确实为logical
• 手动创建publication时，确保包含ddl发布规则
• 建议使用Debezium 2.0+版本，对PostgreSQL DDL变更的支持更完善

内容的提问来源于stack exchange，提问作者Algorithm Unlock