无主键表如何生成Tombstone记录？Confluent Oracle CDC场景

针对你遇到的无主键Oracle表CDC删除操作无法生成有效墓碑记录的问题，提供以下几种可行方案：

方案1：用自定义SMT生成墓碑记录 #

因为无主键表的删除事件无法被CDC连接器自动关联到唯一键，你可以通过自定义Single Message Transform（SMT）来手动生成值为null的墓碑消息：

• 先配置ExtractField$Key提取你选定的唯一标识字段作为Kafka消息键
• 自定义SMT判断CDC消息的操作类型（Oracle CDC会用__op字段标记操作，D代表删除），如果是删除事件，直接将消息值设为null
• 示例配置片段：

transforms=extractKey,makeTombstone
transforms.extractKey.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.extractKey.field=your_unique_field # 替换为你用作键的字段
transforms.makeTombstone.type=com.yourteam.transforms.TombstoneOnDelete # 自定义SMT类路径
transforms.makeTombstone.op_field=__op

• 自定义SMT核心逻辑（Java示例）：

public class TombstoneOnDelete<R extends ConnectRecord<R>> implements Transformation<R> {
    private String opField;

    @Override
    public R apply(R record) {
        Struct value = (Struct) record.value();
        if (value == null) return record;
        String op = value.getString(opField);
        if ("D".equals(op)) {
            return record.newRecord(record.topic(), record.kafkaPartition(), record.keySchema(), record.key(), null, null, record.timestamp());
        }
        return record;
    }

    // 省略configure和close方法
}

方案2：用内置SMT和谓词实现值置空 #

无需自定义代码，通过内置的ReplaceField和谓词功能，仅对删除事件将消息值置空：

• 配置中通过谓词识别删除事件，再用ReplaceField拉黑所有值字段，让值变为null
• 示例配置：

transforms=extractKey,nullifyDelete
transforms.extractKey.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.extractKey.field=your_unique_field
transforms.nullifyDelete.type=org.apache.kafka.connect.transforms.ReplaceField$Value
transforms.nullifyDelete.blacklist=*
transforms.nullifyDelete.predicate=isDelete
predicates=isDelete
predicates.isDelete.type=org.apache.kafka.connect.transforms.predicates.FieldValueMatches
predicates.isDelete.field=__op
predicates.isDelete.pattern=D

这个配置会自动对__op=D的消息清空值字段，生成符合要求的墓碑记录。

方案3：添加逻辑主键（长期最优解） #

如果业务允许，给老旧Oracle表添加逻辑主键是最可靠的方案：

• 新增自增标识字段并创建唯一索引：

ALTER TABLE your_old_table ADD logic_pk NUMBER GENERATED ALWAYS AS IDENTITY;
CREATE UNIQUE INDEX idx_logic_pk ON your_old_table(logic_pk);

• 修改CDC源连接器配置，指定table.primary.key=logic_pk，此时启用emit.tombstone.on.delete=true后，连接器会自动基于主键生成墓碑记录，无需额外处理。

验证步骤 #

1. 手动发送一条键非空、值为null的测试消息到目标Kafka主题，确认下游SQL Server Sink能正确执行删除操作
2. 检查Oracle CDC连接器的日志，确保删除事件被正确捕获和转换
3. 若使用旧版本连接器，升级到Confluent Platform 7.x+版本，避免老版本的无主键表处理bug

内容的提问来源于stack exchange，提问作者Chris