使用Debezium搭建PostgreSQL到Kafka的CDC时遇复制槽创建失败问题

问题背景 #

已成功基于Debezium实现MySQL的变更数据捕获（CDC），但在搭建PostgreSQL到Kafka的CDC流程时，启动Debezium连接器出现**「复制槽创建失败」**错误。已完成的前置操作：

1. 安装并配置Kafka与Debezium
2. 确认PostgreSQL的wal_level已设置为logical
   
3. 配置了数据库用户权限
   
4. 使用的连接器配置如下：

{
  "name": "postgres-connector",
  "config": {
    "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
    "tasks.max": "1",
    "database.hostname": "localhost",
    "database.port": "5432",
    "database.user": "myadmin",
    "database.password": "123",
    "database.dbname": "source_db",
    "database.server.name": "etltask",
    "table.include.list": "source_db.source_table",
    "database.history.kafka.bootstrap.servers": "localhost:9092",
    "database.history.kafka.topic": "schema-changes.source_db",
    "topic.prefix": "etltask"
  }
}

排查与修复步骤 #

1. 验证用户的复制权限 #

PostgreSQL创建复制槽需要用户具备REPLICATION权限，同时需确保用户能连接目标数据库：

-- 检查用户是否拥有REPLICATION权限
SELECT rolname, rolreplication FROM pg_roles WHERE rolname = 'myadmin';

-- 若权限缺失，执行授权
ALTER USER myadmin WITH REPLICATION;
GRANT CONNECT ON DATABASE source_db TO myadmin;

2. 检查PostgreSQL的核心复制配置 #

修改postgresql.conf并重启数据库，确保以下参数配置正确：

• wal_level = logical（已确认，但需确保生效）
• max_replication_slots = 10（值需大于当前所需复制槽数量）
• max_wal_senders = 10（控制并发复制连接数，需大于0）

3. 清理或重建同名复制槽 #

Debezium默认以database.server.name作为复制槽前缀，检查是否存在同名异常槽：

-- 查看所有复制槽
SELECT slot_name, plugin, active FROM pg_replication_slots;

-- 若存在同名非活跃槽，删除后重试
SELECT pg_drop_replication_slot('etltask');

4. 配置pg_hba.conf的复制访问规则 #

确保Debezium所在服务器IP被允许通过复制协议访问PostgreSQL，在pg_hba.conf中添加：

host    replication     myadmin     127.0.0.1/32     scram-sha-256 -- 替换为你的认证方式和允许的IP

修改后需重载PostgreSQL配置：

pg_ctl reload

5. 补充连接器配置细节 #

在连接器配置中添加或调整以下参数：

• plugin.name = pgoutput（明确指定使用pgoutput插件，PostgreSQL 10+默认支持）
• 若启用SSL，添加database.sslmode = require（根据实际环境调整）

6. 日志排查定位具体原因 #

• 查看PostgreSQL日志（默认路径$PGDATA/pg_log），搜索replication slot相关报错
• 查看Debezium连接器的运行日志，获取更精准的失败信息

内容的提问来源于stack exchange，提问作者AISHWARYA K