kSQLDB显式声明KEY字段时Stream查询返回非预期随机键值

根因说明 #

这是kSQLDB的预设设计行为，并非Bug，也没有遗漏全局配置，核心原因如下：

• 被KEY关键字修饰的字段，kSQLDB会从Kafka消息的消息键（Key） 中读取值，而非消息体（Value）；未加KEY修饰的同名字段，默认从Value的反序列化结果中读取，这就是s2查询结果正常的原因。
• 你遇到的825241648是典型的序列化类型不匹配产物：你的Topic消息Key实际是用字符串序列化器写入的文本"1000"，而你声明id INT KEY时kSQLDB会直接把Key的字节按INT类型反序列化，字符串"1000"的UTF8字节按4字节大端INT解析的结果恰好就是825241648，和你的异常输出完全吻合。

解决方案 #

根据你的使用场景二选一即可：

场景1：需要将Kafka原生消息Key映射为id字段 #

建流时明确指定消息Key的序列化格式，匹配实际写入时的序列化规则即可，示例语句如下：

-- 消息Key为Kafka原生字符串格式时使用该语句
CREATE STREAM s1 (id STRING KEY, other VARCHAR) WITH (
    KAFKA_TOPIC='topic', 
    KEY_FORMAT='KAFKA_STRING',
    VALUE_FORMAT='json'
);

-- 查询时如果需要INT类型的id，可通过CAST转换
SELECT CAST(id AS INT) AS id, other FROM s1 EMIT CHANGES;

场景2：需要id从Value读取，同时作为kSQLDB的流键用于后续聚合、Join #

无需给id加KEY修饰，建流时通过PARTITION BY指定逻辑键即可，示例语句如下：

CREATE STREAM s2 (id INT, other VARCHAR) WITH (
    KAFKA_TOPIC='topic', 
    VALUE_FORMAT='json'
) PARTITION BY id;

内容的提问来源于stack exchange，提问作者Dan D