Debezium PostgreSQL连接器更新table.include.list后无增量流数据

云原生阿岚

2026-8-27

问题说明

更新Debezium PostgreSQL连接器table.include.list配置新增监控表后，新表可通过快照信号获取存量数据，但无法消费后续增量变更。
初始创建连接器的请求配置如下：

curl -i -X POST -H "Content-Type:application/json" \
    http://localhost:8083/connectors \
    -d ' {
    "name": "inventory-connector",
    "config": {
        "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
        "tasks.max": "1",
        "database.hostname": "XXX.internal",
        "database.port": "5434",
        "database.user": "debezium_user",
        "database.password": "passwordXXX",
        "database.dbname" : "cn_db",
        "database.server.name": "myinstance",
        "schema.include": "public",
        "table.include.list": "public.cn_order,public.dbz_signal",
        "signal.data.collection": "public.dbz_signal",
        "plugin.name":"pgoutput",
        "publication.autocreate.mode":"filtered",
    }
}'

新增public.cn_user表后，通过PUT接口更新连接器配置，将新表加入table.include.list列表：

curl -i -X PUT -H "Accept:application/json" -H  "Content-Type:application/json" \
    http://localhost:8083/connectors/inventory-connector/config \
    -d '{...其余配置与初始配置一致，仅将table.include.list更新为"public.cn_order,public.cn_user,public.dbz_signal"...}'

配置更新后，向public.cn_user插入测试数据，对应Kafka主题myinstance.public.cn_user无法接收到增量消息；向dbz_signal表插入执行快照的信号，可以正常消费到该表存量数据，但后续增量变更依然无法接收。
触发快照的SQL如下：

INSERT INTO public.dbz_signal VALUES ('signal-1', 'execute-snapshot', '{"data-collections": ["public.cn_user"]}')

根因

问题出在pgoutput逻辑复制插件的publication配置未同步：

配置publication.autocreate.mode=filtered时，Debezium仅在首次启动创建publication的阶段，会把当时table.include.list中的表加入PostgreSQL的逻辑复制publication列表。后续修改连接器配置更新表白名单时，Debezium不会自动同步修改已有publication的覆盖范围。
PostgreSQL逻辑复制的规则是，只有被publication包含的表，其变更事件才会被推送到对应的复制槽。所以即使Debezium侧配置了监控新表，只要publication里没有该表，Debezium就收不到对应WAL增量事件。
手动触发快照可以拿到存量数据，是因为快照逻辑通过JDBC直接查询表数据，不依赖逻辑复制的WAL流，因此不受publication配置影响。

解决步骤

登录PostgreSQL数据库，查询当前Debezium使用的publication覆盖的表范围，默认Debezium创建的publication名为dbz_publication，如果自定义过名称请替换为实际值：
```
SELECT schemaname, tablename 
FROM pg_publication_tables 
WHERE pubname = 'dbz_publication';
```
查询结果中不会包含cn_user，即可确认根因。

手动将新表加入publication：

ALTER PUBLICATION dbz_publication ADD TABLE public.cn_user;

操作完成后无需重启连接器，等待10~30秒后向cn_user表插入测试数据，即可正常消费到增量消息。

后续优化建议

若后续需要频繁新增监控表，可以将publication修改为覆盖库下所有表的模式，执行以下SQL即可：
```
ALTER PUBLICATION dbz_publication SET FOR ALL TABLES;
```
修改后新增表无需再手动更新publication配置，只要更新Debezium侧的table.include.list即可，注意需要给Debezium使用的数据库账号分配对应表的复制权限。
避免在业务高峰期执行ALTER PUBLICATION操作，大事务场景下可能导致复制槽延迟突增。
若操作后依然无法接收增量，检查Debezium使用的数据库账号是否拥有cn_user表的SELECT权限与复制权限。

内容的提问来源于stack exchange，提问作者Alexander Komarov