KSQL如何提取JSON/AVRO payload并写入另一KSQL流单列
KSQL提取原始Payload写入目标流单字段实现方案
前置说明
本文方案适用于从已有的KSQL流中提取完整的原始消息载荷,搭配Schema标识、事件时间字段写入新流的单个列的场景。
场景1:源流数据格式为JSON
KSQL内置的RAW伪列可直接读取源消息的原始字节内容,无需手动拼接字段即可拿到完整JSON payload。
目标流创建语句
CREATE STREAM Stream2 WITH ( KAFKA_TOPIC='stream2_topic', -- 自定义目标流对应的Kafka Topic名 VALUE_FORMAT='JSON' -- 可根据业务需要调整为AVRO等其他输出格式 ) AS SELECT CURRENT_TIMESTAMP AS EventTime, -- 可替换为源流中对应的业务时间字段 'JSON' AS Schema, CAST(RAW AS STRING) AS EventPayLoad FROM Stream1 EMIT CHANGES;
场景2:源流数据格式为AVRO
如果需要将AVRO格式的载荷转成JSON字符串存储,使用TO_JSON_STRING()函数直接序列化整行源数据即可:
目标流创建语句
CREATE STREAM Stream2 WITH ( KAFKA_TOPIC='stream2_topic', VALUE_FORMAT='JSON' ) AS SELECT CURRENT_TIMESTAMP AS EventTime, 'AVRO' AS Schema, TO_JSON_STRING(Stream1) AS EventPayLoad FROM Stream1 EMIT CHANGES;
如果需要保留原始AVRO字节内容不做序列化,直接取RAW列即可:
-- 存储原始AVRO字节的示例 CREATE STREAM Stream2 WITH ( KAFKA_TOPIC='stream2_topic', VALUE_FORMAT='JSON' ) AS SELECT CURRENT_TIMESTAMP AS EventTime, 'AVRO' AS Schema, RAW AS EventPayLoad FROM Stream1 EMIT CHANGES;
输出效果验证
以你给出的输入示例:源Stream1单条消息为{"name":"Ben", "age":30},执行JSON场景的建流语句后,Stream2输出的消息结构如下:
{"EventTime":"2021-10-01T00:00:00.000", "Schema": "JSON", "EventPayLoad": "{"name":"Ben", "age":30}"}
注:EventPayLoad中的双引号转义为JSON序列化的标准处理,下游解析时会自动还原,不影响原始内容使用。
注意事项
- 若源流开启了
WRAP_SINGLE_VALUE配置,需先确认配置与数据结构匹配,避免提取的payload多包裹一层外壳 - 如需自定义EventTime为源数据中的业务时间,直接替换
CURRENT_TIMESTAMP为源流中对应的时间字段名即可 - 目标流的输出格式可自由调整,不会影响EventPayLoad字段的存储内容
内容的提问来源于stack exchange,提问作者CodeMonkey74
相关产品推荐
相关产品推荐

