使用Debezium PostgreSQL CDC Connector时Kafka消息缺失字段问题

以下是逐一排查和解决的步骤：

• 检查PostgreSQL的WAL级别
  AWS RDS实例需要将wal_level设置为logical才能支持逻辑复制（CDC依赖此特性）。操作步骤：

  1. 进入AWS RDS控制台，找到目标实例的参数组。
  2. 修改参数wal_level为logical，保存参数组。
  3. 重启RDS实例使参数生效。
     验证：登录PostgreSQL执行SHOW wal_level;，确认返回logical。

• 确认REPLICA IDENTITY FULL已正确应用到目标表
  确保每个需要捕获变更的表都执行了正确的修改命令，且生效：

  1. 对目标表执行：ALTER TABLE <你的表名> REPLICA IDENTITY FULL;
  2. 验证：SELECT relname, relreplident FROM pg_class WHERE relname = '<你的表名>';
     若返回relreplident为f（代表FULL），则配置正确。

• 检查连接器的核心配置
  确保连接器使用的是Debezium PostgreSQL连接器，且关键参数配置正确：

  1. 确认connector.class设置为io.debezium.connector.postgresql.PostgresConnector
  2. 配置plugin.name为合适的解码插件（推荐decoderbufs，这是Debezium官方适配的插件，输出格式符合CDC标准结构）
  3. 若使用wal2json插件，需额外添加配置：

     plugin.name=wal2json
     wal2json.include-types=all
     wal2json.write-includes=before,after,op
     

     确保插件输出包含所需字段。

• 验证连接器的转换器配置
  确保消息转换器没有破坏CDC的结构化输出：

  1. 检查value.converter设置为org.apache.kafka.connect.json.JsonConverter
  2. 若不需要Schema信息，设置value.converter.schemas.enable=false；若保留Schema，确保转换器正确解析Debezium的输出结构。

• 检查Publication配置
  Debezium会自动创建publication，但如果是手动创建的，需确保配置正确：

  1. 查看现有publication：SELECT * FROM pg_publication;
  2. 确保目标表已被包含，且publish_insert、publish_update、publish_delete均为true
  3. 若自动创建的publication有问题，可删除后重启连接器，让其重新生成：DROP PUBLICATION <连接器自动创建的publication名称>;

• 排查Transforms配置
  检查连接器是否配置了任何Transforms，避免意外过滤掉before/after/op字段：

  1. 查看连接器配置中的transforms相关参数
  2. 若存在ExtractField、ReplaceField等转换，确认其规则没有移除所需字段。

• 检查增量变更的消息格式
  初始快照阶段的消息可能只包含after字段（因为是全量同步，没有前置状态），请查看增量更新/删除的消息，确认是否包含before/after/op字段。若快照阶段缺少是正常现象，增量阶段必须存在。

内容的提问来源于stack exchange，提问作者mcansado