创建KTable后Kafka主题出现无效INT键问题求助

问题重现 #

你创建了users Kafka主题：

kafka-topics --bootstrap-server broker:9092 --create --if-not-exists --topic users --replication-factor 1 --partitions 1 --config cleanup.policy=compact

基于该主题创建KTable：

CREATE TABLE USERS_TABLE (LOCATION_ID INT, NAME STRING PRIMARY KEY) WITH (KAFKA_TOPIC='users', KEY_FORMAT='KAFKA', VALUE_FORMAT='JSON');

再通过聚合生成LOCATIONS_DATA表：

CREATE TABLE LOCATIONS_DATA AS SELECT LOCATION_ID, COLLECT_LIST(NAME) AS NAMES FROM USERS_TABLE GROUP BY LOCATION_ID EMIT CHANGES;

此时Redpanda中LOCATIONS_DATA主题的键显示为?或空值，但ksqlDBCLI查询该表或查看主题键时显示正常；将LOCATION_ID改为STRING/VARCHAR类型后，Redpanda中键显示正常，但你需要保留INT类型。

解决办法 #

1. 显式定义聚合表的主键类型与存储格式

修改LOCATIONS_DATA的创建语句，显式指定主键类型和存储参数，确保ksqlDB正确序列化INT类型的键：

CREATE TABLE LOCATIONS_DATA (
  LOCATION_ID INT PRIMARY KEY,
  NAMES ARRAY<STRING>
) WITH (
  KAFKA_TOPIC='LOCATIONS_DATA',
  KEY_FORMAT='KAFKA',
  VALUE_FORMAT='JSON'
) AS SELECT LOCATION_ID, COLLECT_LIST(NAME) AS NAMES FROM USERS_TABLE GROUP BY LOCATION_ID EMIT CHANGES;

2. 在Redpanda控制台中指定键的解析类型

Redpanda控制台默认将主题键按UTF-8字符串解析，而INT类型的键是以二进制字节形式存储的，无法被解析为合法字符串，因此显示异常。你需要在查看LOCATIONS_DATA主题消息时，手动设置键的解析类型：

• 打开Redpanda Console，进入LOCATIONS_DATA主题的Messages页面
• 在页面上方的Key format下拉菜单中，选择Integer类型
• 刷新页面后，即可正常显示INT类型的键值

原因说明 #

ksqlDB在处理聚合逻辑时，会根据定义的类型将INT键序列化为二进制字节（通常为4字节大端格式）；而Redpanda控制台默认采用UTF-8字符串解析键值，二进制INT数据不属于合法UTF-8字符，因此显示为?或空值。显式指定解析类型后，Redpanda会将二进制数据正确转换为整数显示。

内容的提问来源于stack exchange，提问作者magda_lena