Confluent Kafka JDBC Sink连接器报‘列值超出范围’错误求助

问题背景 #

使用Confluent Kafka平台同步MySQL数据库A到B，此前运行正常，今日JDBC Sink连接器插入数据时出现Out of range value for column错误，指向一个默认值为NULL的BIGINT字段，但Kafka主题内该字段实际为NULL，手动插入该行数据正常，且两张表结构一致。

可能的原因及解决办法 #

1. Debezium Unwrap转换的异常残留 #

你使用了ExtractNewRecordState转换，可能在转换过程中，Debezium的元数据（如before/after结构）残留或类型解析错误，导致NULL字段被错误识别为超大数值。

• 操作建议：
  • 查看未经过unwrap转换的原始Kafka消息，确认该BIGINT字段在源消息中的实际结构与值
  • 给unwrap转换添加墓碑消息过滤配置：

    "transforms.unwrap.drop.tombstones": "true"
    

2. JDBC Sink的类型映射偏差 #

MySQL BIGINT与Kafka Connect的类型映射可能出现异常，尤其是NULL值场景下，连接器错误解析值范围。

• 操作建议：
  • 显式添加类型转换transform，强制指定字段为可空长整型：

    "transforms": "unwrap,castBigint",
    "transforms.castBigint.type": "org.apache.kafka.connect.transforms.Cast$Value",
    "transforms.castBigint.spec": "你的BIGINT字段名:nullable_long"
    

  • 临时关闭auto.evolve配置测试，避免自动演化逻辑意外修改字段类型

3. 连接器版本的NULL处理Bug #

部分旧版本的Confluent JDBC Sink连接器在upsert模式下对NULL值的处理存在缺陷。

• 操作建议：
  • 将JDBC Sink连接器升级到最新稳定版本（如Confluent Platform 7.x系列）
  • 临时将insert.mode改为insert测试，若恢复正常，说明upsert模式的NULL处理逻辑存在问题，可针对性调整配置

4. JDBC连接的SQL_MODE差异 #

连接器使用的JDBC连接可能带有与手动插入不同的SQL_MODE，导致NULL值被异常处理。

• 操作建议：
  • 在connection.url中显式指定兼容的SQL_MODE：

    jdbc:mysql://server_name:12345?useSSL=false&sql_mode=NO_ENGINE_SUBSTITUTION
    

  • 对比连接器使用的数据库用户与手动插入时的用户，检查两者默认SQL_MODE是否一致

内容的提问来源于stack exchange，提问作者mat