Kafka JDBCSinkConnector同步数据至Postgres遇JsonConverter Schema异常
故障根因定位
- 自定义Schema文件存在语法结构错误:
sch.json中fields数组的闭合括号位置错位,第二个业务字段url的对象未单独闭合就直接提前关闭了字段数组,导致整体结构不符合Connect对带Schema消息的格式要求 - 生产端序列化逻辑错误:Python代码将文件读取得到的字符串直接传入
json.dumps做二次序列化,写入Topic的内容是被转义的字符串文本,而非结构化JSON对象,JsonConverter无法从中识别到要求的schema/payload顶层字段 - 配置修改未真正生效:修改
schemas.enable参数后未重启连接器任务,且Topic中残留了之前写入的格式错误的历史消息,连接器消费到坏消息时会复用原有解析逻辑抛出相同异常 - 主键配置不匹配:当前连接器配置
pk.mode=record_key、pk.fields=MESSAGE_KEY,但生产端发送消息时未指定消息key,即便数据格式问题解决,后续也会因无法获取主键触发写入失败
分步修复方案
1. 修正Schema文件结构
调整sch.json的括号位置,使其符合Connect标准的带Schema消息格式,正确结构参考:
{ "schema": { "type": "struct", "fields": [ { "type": "int32", "optional": false, "field": "id" }, { "type": "string", "optional": false, "field": "url" } ], "optional": false, "name": "test_data" }, "payload": { "id": 12, "url": "some_url" } }
2. 修正Python生产端逻辑
将文件读取的文本解析为Python字典后再序列化,避免二次序列化问题,同时补充消息key匹配连接器的主键规则:
from kafka import KafkaProducer import json producer = KafkaProducer( bootstrap_servers=['127.0.0.1:9092'], value_serializer=lambda v: json.dumps(v).encode('utf-8') ) with open("../data/sch.json", 'r') as file: # 将读取的文本解析为字典,避免二次序列化 data = json.loads(file.read()) # 发送时指定消息key,匹配主键提取规则 producer.send( "test_topic06", key=str(data["payload"]["id"]).encode('utf-8'), value=data ) producer.flush() producer.close()
如果选择切换为无Schema模式(schemas.enable=false),则不需要嵌套schema/payload两层结构,直接发送扁平业务数据即可,如{"id":12, "url":"some_url"}。
3. 重置连接器运行环境
- 先删除原有报错的连接器实例:
curl -X DELETE http://localhost:8083/connectors/sink-jdbc-postgre-01 - 若切换为无Schema模式,需同步调整主键配置:将
pk.mode改为record_value、pk.fields设为业务主键字段名id,避免主键提取逻辑不匹配 - 清空测试Topic中的历史坏数据,防止连接器消费到格式错误的旧消息重复触发异常
- 重新提交修正后的连接器配置,等待任务启动后观察运行日志
校验排查点
- 用控制台消费者确认Topic内的消息格式:执行
kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic test_topic06 --from-beginning,输出应为结构化JSON内容,无多余转义字符 - 核对连接器实际生效配置:通过
curl http://localhost:8083/connectors/sink-jdbc-postgre-01/config返回值,确认schemas.enable、主键相关参数与预期一致,避免配置修改未持久化生效
内容的提问来源于stack exchange,提问作者GecKo
相关产品推荐
相关产品推荐

