You need to enable JavaScript to run this app. KSQL如何提取JSON/AVRO payload并写入另一KSQL流单列
优惠活动
大模型
产品
解决方案
定价
更多

KSQL如何提取JSON/AVRO payload并写入另一KSQL流单列

KSQL提取原始Payload写入目标流单字段实现方案

前置说明

本文方案适用于从已有的KSQL流中提取完整的原始消息载荷,搭配Schema标识、事件时间字段写入新流的单个列的场景。

场景1:源流数据格式为JSON

KSQL内置的RAW伪列可直接读取源消息的原始字节内容,无需手动拼接字段即可拿到完整JSON payload。

目标流创建语句

CREATE STREAM Stream2 WITH (
    KAFKA_TOPIC='stream2_topic', -- 自定义目标流对应的Kafka Topic名
    VALUE_FORMAT='JSON' -- 可根据业务需要调整为AVRO等其他输出格式
) AS
SELECT
    CURRENT_TIMESTAMP AS EventTime, -- 可替换为源流中对应的业务时间字段
    'JSON' AS Schema,
    CAST(RAW AS STRING) AS EventPayLoad
FROM Stream1
EMIT CHANGES;

场景2:源流数据格式为AVRO

如果需要将AVRO格式的载荷转成JSON字符串存储,使用TO_JSON_STRING()函数直接序列化整行源数据即可:

目标流创建语句

CREATE STREAM Stream2 WITH (
    KAFKA_TOPIC='stream2_topic',
    VALUE_FORMAT='JSON'
) AS
SELECT
    CURRENT_TIMESTAMP AS EventTime,
    'AVRO' AS Schema,
    TO_JSON_STRING(Stream1) AS EventPayLoad
FROM Stream1
EMIT CHANGES;

如果需要保留原始AVRO字节内容不做序列化,直接取RAW列即可:

-- 存储原始AVRO字节的示例
CREATE STREAM Stream2 WITH (
    KAFKA_TOPIC='stream2_topic',
    VALUE_FORMAT='JSON'
) AS
SELECT
    CURRENT_TIMESTAMP AS EventTime,
    'AVRO' AS Schema,
    RAW AS EventPayLoad
FROM Stream1
EMIT CHANGES;

输出效果验证

以你给出的输入示例:源Stream1单条消息为{"name":"Ben", "age":30},执行JSON场景的建流语句后,Stream2输出的消息结构如下:

{"EventTime":"2021-10-01T00:00:00.000", "Schema": "JSON", "EventPayLoad": "{"name":"Ben", "age":30}"}
注:EventPayLoad中的双引号转义为JSON序列化的标准处理,下游解析时会自动还原,不影响原始内容使用。


注意事项

  • 若源流开启了WRAP_SINGLE_VALUE配置,需先确认配置与数据结构匹配,避免提取的payload多包裹一层外壳
  • 如需自定义EventTime为源数据中的业务时间,直接替换CURRENT_TIMESTAMP为源流中对应的时间字段名即可
  • 目标流的输出格式可自由调整,不会影响EventPayLoad字段的存储内容

内容的提问来源于stack exchange,提问作者CodeMonkey74

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 05:45:03