Debezium PostgreSQL连接器启动后未创建Kafka Topic问题咨询
问题梳理
启动Debezium PostgreSQL连接器后,预期生成的testdb.myschema.ipaddrs Topic始终未出现,执行bin/kafka-topics.sh --list --bootstrap-server 192.168.56.1:9092无结果,向ipaddrs表写入数据也未触发Topic创建。连接器配置如下:
name=testdb connector.class=io.debezium.connector.postgresql.PostgresConnector topic.prefix=test database.hostname=localhost database.port=5432 database.user=postgres database.password=root database.dbname=testdb database.server.name=testdb table.include.list=ipaddrs plugin.name=pgoutput
Kafka Connect启动无异常,连接器状态返回为RUNNING,Kafka已开启auto.create.topics.enable=true,采用KRaft模式运行。
排查与解决步骤
修正表名配置
当前table.include.list仅指定了表名ipaddrs,若表实际属于myschema,需补充完整Schema路径:table.include.list=myschema.ipaddrs未指定Schema时,Debezium默认匹配
publicSchema,若表不在此Schema下,连接器会找不到目标表,无法生成Topic。验证数据库逻辑复制配置
- 确认
postgres用户拥有复制权限:ALTER USER postgres WITH REPLICATION; - 检查数据库
wal_level是否为logical:SHOW wal_level; - 查看是否存在Debezium对应的逻辑复制槽:
SELECT * FROM pg_replication_slots;
以上任意一项不满足,都会导致连接器无法捕获数据变更,进而无法创建Topic。
- 确认
核对Kafka Connect与集群的连接
检查connect-standalone.properties中的bootstrap.servers配置,确保其指向的Kafka节点与你执行kafka-topics.sh时的192.168.56.1:9092一致,若Connect连接的是其他节点,会导致Topic创建在非目标集群中。查看连接器日志
打开Kafka Connect的日志文件(通常在logs/connect.log),搜索testdb或ipaddrs相关内容,排查是否存在表找不到、权限不足、复制槽创建失败等报错信息,这是定位问题最直接的方式。
内容的提问来源于stack exchange,提问作者user2233706

