You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Debezium PostgreSQL连接器启动后未创建Kafka Topic问题咨询

Debezium PostgreSQL连接器启动后Kafka Topic未创建的排查与解决

问题梳理

启动Debezium PostgreSQL连接器后,预期生成的testdb.myschema.ipaddrs Topic始终未出现,执行bin/kafka-topics.sh --list --bootstrap-server 192.168.56.1:9092无结果,向ipaddrs表写入数据也未触发Topic创建。连接器配置如下:

name=testdb
connector.class=io.debezium.connector.postgresql.PostgresConnector
topic.prefix=test
database.hostname=localhost
database.port=5432
database.user=postgres
database.password=root
database.dbname=testdb
database.server.name=testdb
table.include.list=ipaddrs
plugin.name=pgoutput

Kafka Connect启动无异常,连接器状态返回为RUNNING,Kafka已开启auto.create.topics.enable=true,采用KRaft模式运行。

排查与解决步骤

  • 修正表名配置
    当前table.include.list仅指定了表名ipaddrs,若表实际属于myschema,需补充完整Schema路径:

    table.include.list=myschema.ipaddrs
    

    未指定Schema时,Debezium默认匹配publicSchema,若表不在此Schema下,连接器会找不到目标表,无法生成Topic。

  • 验证数据库逻辑复制配置

    1. 确认postgres用户拥有复制权限:
      ALTER USER postgres WITH REPLICATION;
      
    2. 检查数据库wal_level是否为logical:
      SHOW wal_level;
      
    3. 查看是否存在Debezium对应的逻辑复制槽:
      SELECT * FROM pg_replication_slots;
      

    以上任意一项不满足,都会导致连接器无法捕获数据变更,进而无法创建Topic。

  • 核对Kafka Connect与集群的连接
    检查connect-standalone.properties中的bootstrap.servers配置,确保其指向的Kafka节点与你执行kafka-topics.sh时的192.168.56.1:9092一致,若Connect连接的是其他节点,会导致Topic创建在非目标集群中。

  • 查看连接器日志
    打开Kafka Connect的日志文件(通常在logs/connect.log),搜索testdb或ipaddrs相关内容,排查是否存在表找不到、权限不足、复制槽创建失败等报错信息,这是定位问题最直接的方式。


内容的提问来源于stack exchange,提问作者user2233706

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.16 08:01:00