KSQLDB基于Kafka Topic创建表后查询返回空数据问题求助

问题根因 #

• 建表时指定的Topic名称错误：你创建表时填写的KAFKA_TOPIC参数值为test.RF.partner，但实际存储有效数据的Topic名称是rytfit.RF.partner，导致表关联的Topic本身没有可读取的数据。
• 未配置消息Key的序列化格式：你将partnerID设为表的主键，ksql默认从Kafka消息的Key部分读取主键值，从PRINT结果可以看到消息Key为JSON格式，但你建表时只指定了Value的序列化格式为AVRO，没有声明Key的格式，导致无法正确解析主键、数据映射失败。
• 未设置消费偏移量规则：默认情况下ksql只会消费建表后新写入Topic的数据，不会读取历史存量数据。

解决步骤 #

1. 删除已创建的错误表

DROP TABLE partner;

2. 配置偏移量从最早位置开始消费，保证能读取Topic的历史数据

SET 'auto.offset.reset' = 'earliest';

3. 使用正确的参数重新建表

CREATE TABLE partner (
    partnerID INTEGER PRIMARY KEY,
    name VARCHAR
) WITH (
    KAFKA_TOPIC = 'rytfit.RF.partner',
    KEY_FORMAT = 'JSON',
    VALUE_FORMAT = 'AVRO'
);

4. 执行查询验证数据

SELECT * FROM partner EMIT CHANGES;

执行完成后即可看到Topic中所有的存量和新增数据。

内容的提问来源于stack exchange，提问作者user_12