Siddhi CDC Postgres应用未使用自定义slot.name问题咨询

问题概述 #

你已为Debezium Postgres连接器配置并注册了自定义复制槽postslot，且该槽已存在于PostgreSQL数据库中，但运行Siddhi CDC应用时仅首次插入会生成日志，后续插入无输出。从数据库的pg_replication_slots查询结果来看，默认的debezium复制槽也处于活跃状态，推测Siddhi应用默认使用了该槽，而PostgreSQL的单个复制槽仅支持一个连接，导致后续变更事件无法被捕获。

解决方案 #

Siddhi的PostgreSQL CDC源底层依赖Debezium连接器，因此可以直接在Siddhi应用的CDC源配置中指定slot.name参数，强制应用使用自定义的postslot复制槽。

示例Siddhi应用配置 #

@App:name("ShipmentCDCProcessingApp")
@App:description("Capture and process shipment table changes")

define stream ShipmentChangeStream (id int, shipment_status string, created_at long);

@source(type='cdc',
        url='jdbc:postgresql://postgres:5432/shipment_db',
        username='postgresuser',
        password='postgrespw',
        table.name='public.shipments',
        @map(type='keyvalue'),
        # 指定自定义复制槽名称
        slot.name='postslot',
        # 同步Debezium连接器的其他必要配置
        plugin.name='pgoutput',
        database.server.name='postgres',
        snapshot.mode='always'
)
define stream ShipmentCDCInputStream (id int, shipment_status string, created_at long);

# 日志输出示例
@sink(type='log', prefix='Shipment Change:')
define stream ShipmentOutputLogStream (id int, shipment_status string, created_at long);

from ShipmentCDCInputStream
select *
insert into ShipmentOutputLogStream;

关键注意事项 #

• 所有Debezium PostgreSQL连接器的配置参数都可以直接在Siddhi的CDC源中添加，确保配置和你注册的Debezium连接器保持一致
• 确认postslot复制槽未被其他应用占用，若之前的Debezium连接器实例仍在运行，需停止该实例以释放槽的连接
• 修改Siddhi应用配置后，必须重启应用使配置生效
• 若不再需要默认的debezium复制槽，可通过以下SQL语句清理：

SELECT pg_drop_replication_slot('debezium');

内容的提问来源于stack exchange，提问作者Vinoja