如何阻止Kafka Connect JDBC Sink插入Avro消息中的f3属性

要让你的JDBC Sink只插入f1和f2字段、跳过f3，完全不需要修改生产者代码，最推荐的是用Kafka Connect自带的**字段转换（Transforms）**功能，灵活又符合最佳实践。

方法1：使用ReplaceField转换过滤字段 #

这是最直接可控的方式，通过配置指定要保留或排除的字段，有两种实现思路：

方式A：黑名单排除f3 #

在现有JDBC Sink配置里添加以下内容：

# 启用字段转换，给这个转换起个名字dropF3
transforms=dropF3
# 指定转换类型为处理消息Value部分的ReplaceField
transforms.dropF3.type=org.apache.kafka.connect.transforms.ReplaceField$Value
# 明确列出要排除的字段（这里就是f3）
transforms.dropF3.blacklist=f3

方式B：白名单仅保留f1和f2 #

如果希望严格控制只写入指定字段（后续Avro Schema新增字段也不会自动插入到表中），更推荐用白名单：

transforms=keepRequiredFields
transforms.keepRequiredFields.type=org.apache.kafka.connect.transforms.ReplaceField$Value
# 仅保留f1和f2两个字段
transforms.keepRequiredFields.whitelist=f1,f2

把上述配置追加到你的JDBC Sink配置中，然后重启Kafka Connect连接器（或者通过REST API更新连接器配置）就能生效。

方法2：手动建表+关闭自动建表 #

要是你不想用转换功能，也可以手动创建目标表后关闭自动建表：
先在Oracle中执行建表SQL：

CREATE TABLE my_table_1 (
    f1 VARCHAR2(255),
    f2 VARCHAR2(255)
);

然后修改JDBC Sink配置，关闭自动建表：

auto.create=false

这种情况下，Kafka Connect会把消息字段映射到已存在的表列，不存在的f3字段会被自动忽略。不过这个方式灵活性较差，后续Avro Schema新增字段时，不会自动同步到表结构中。

验证生效 #

配置更新后，发送新消息到my_topic_1，检查Oracle的my_table_1表：

• 只会看到f1和f2列有数据
• 如果之前表已经创建了f3列，该列会始终显示为NULL（因为Connect不会写入这个字段）

内容的提问来源于stack exchange，提问作者Alfred