You need to enable JavaScript to run this app. Kafka JDBCSinkConnector同步数据至Postgres遇JsonConverter Schema异常
优惠活动
大模型
产品
解决方案
定价
更多

Kafka JDBCSinkConnector同步数据至Postgres遇JsonConverter Schema异常

故障根因定位
  • 自定义Schema文件存在语法结构错误:sch.json中fields数组的闭合括号位置错位,第二个业务字段url的对象未单独闭合就直接提前关闭了字段数组,导致整体结构不符合Connect对带Schema消息的格式要求
  • 生产端序列化逻辑错误:Python代码将文件读取得到的字符串直接传入json.dumps做二次序列化,写入Topic的内容是被转义的字符串文本,而非结构化JSON对象,JsonConverter无法从中识别到要求的schema/payload顶层字段
  • 配置修改未真正生效:修改schemas.enable参数后未重启连接器任务,且Topic中残留了之前写入的格式错误的历史消息,连接器消费到坏消息时会复用原有解析逻辑抛出相同异常
  • 主键配置不匹配:当前连接器配置pk.mode=record_key、pk.fields=MESSAGE_KEY,但生产端发送消息时未指定消息key,即便数据格式问题解决,后续也会因无法获取主键触发写入失败
分步修复方案

1. 修正Schema文件结构

调整sch.json的括号位置,使其符合Connect标准的带Schema消息格式,正确结构参考:

{
    "schema": {
        "type": "struct",
        "fields": [
            {
                "type": "int32",
                "optional": false,
                "field": "id"
            },
            {
                "type": "string",
                "optional": false,
                "field": "url"
            }
        ],
        "optional": false,
        "name": "test_data"
    },
    "payload": {
        "id": 12,
        "url": "some_url"
    }
}

2. 修正Python生产端逻辑

将文件读取的文本解析为Python字典后再序列化,避免二次序列化问题,同时补充消息key匹配连接器的主键规则:

from kafka import KafkaProducer
import json 
producer = KafkaProducer(
    bootstrap_servers=['127.0.0.1:9092'],
    value_serializer=lambda v: json.dumps(v).encode('utf-8')
)
with open("../data/sch.json", 'r') as file:
    # 将读取的文本解析为字典,避免二次序列化
    data = json.loads(file.read())
    # 发送时指定消息key,匹配主键提取规则
    producer.send(
        "test_topic06", 
        key=str(data["payload"]["id"]).encode('utf-8'), 
        value=data
    )
producer.flush()
producer.close()

如果选择切换为无Schema模式(schemas.enable=false),则不需要嵌套schema/payload两层结构,直接发送扁平业务数据即可,如{"id":12, "url":"some_url"}。

3. 重置连接器运行环境

  1. 先删除原有报错的连接器实例:curl -X DELETE http://localhost:8083/connectors/sink-jdbc-postgre-01
  2. 若切换为无Schema模式,需同步调整主键配置:将pk.mode改为record_value、pk.fields设为业务主键字段名id,避免主键提取逻辑不匹配
  3. 清空测试Topic中的历史坏数据,防止连接器消费到格式错误的旧消息重复触发异常
  4. 重新提交修正后的连接器配置,等待任务启动后观察运行日志
校验排查点
  • 用控制台消费者确认Topic内的消息格式:执行kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic test_topic06 --from-beginning,输出应为结构化JSON内容,无多余转义字符
  • 核对连接器实际生效配置:通过curl http://localhost:8083/connectors/sink-jdbc-postgre-01/config返回值,确认schemas.enable、主键相关参数与预期一致,避免配置修改未持久化生效

内容的提问来源于stack exchange,提问作者GecKo

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 15:15:05