基于Debezium的Kafka Connect standalone模式Postgres CDC报错排查

核心根因：PostgreSQL WAL配置不满足CDC前置要求 #

你看到的首个ERROR是所有后续报错的触发源：Debezium PostgreSQL连接器依赖PostgreSQL的逻辑解码能力完成CDC捕获，要求数据库的wal_level参数必须设置为logical，你当前实例的该参数值为replica，仅支持物理流复制，不提供逻辑解码能力，直接导致连接器初始化失败，进而连锁触发“Failed to create job”“Stopping after connector error”两个后续报错。

修复操作：

1. 找到PostgreSQL实例对应的postgresql.conf配置文件，修改以下核心参数：

   wal_level = logical
   max_wal_senders = 10
   max_replication_slots = 10
   

   参数说明：
   • wal_level=logical是逻辑复制的强制要求
   • max_wal_senders需要为复制连接预留足够的空闲连接数，最小不能小于0
   • max_replication_slots需要为Debezium使用的复制槽预留足够的存储空间，最小不能小于1
2. 保存配置后重启PostgreSQL实例，执行以下SQL验证配置是否生效：

   SHOW wal_level;
   -- 输出为logical即为配置成功
   

3. 确认连接数据库的用户具备逻辑复制权限：

   ALTER USER postgres REPLICATION;
   

4. 匹配你配置的plugin.name=decoderbufs参数，确认PostgreSQL端已经安装对应的逻辑解码扩展，避免后续复制槽初始化时报解码插件不存在的错误。
5. 检查是否存在残留的同名复制槽（之前启动失败可能遗留无用的槽位）：

   SELECT slot_name FROM pg_replication_slots WHERE slot_name = 'debezium';
   -- 如果查询到残留结果，执行以下命令清理
   SELECT pg_drop_replication_slot('debezium');
   

配置与操作层面的错误修正 #

• 启动命令格式错误：你当前书写的启动命令缺失可执行脚本，且路径、文件名存在拼写错误，正确的执行命令为（需替换为本地Kafka的实际安装路径）：

  # 进入Kafka安装目录的bin文件夹后执行
  ./connect-standalone.sh ../config/connect-standalone.properties ../config/postgres.properties
  

  原命令存在的问题：
  • 丢失了核心可执行脚本connect-standalone.sh，错误将配置文件路径作为执行入口
  • 连接器配置文件名拼写错误：将postgres.properties误写为postgres.sproperties（多了多余的s）
• 连接器配置语法错误：你提供的postgres.properties最后一行末尾有一个多余的反引号`，会导致配置解析失败，需要删除该特殊符号。
• 插件路径校验：确认/home/azureuser/plugins目录下已经完整放置Debezium PostgreSQL连接器的全部jar包（含全部依赖），避免后续出现类加载找不到的问题。

完成以上所有修改后，重新执行启动命令，当日志中出现快照完成的输出时，即代表连接器已正常启动，开始捕获指定表的变更。

内容的提问来源于stack exchange，提问作者Snehil Singh