Kafka Streams是否真的实时？使用中异常行为咨询

这两个现象都是Kafka Streams默认行为导致的，并非你的Kafka集群配置有问题，不过可以通过调整配置或代码逻辑来按需改变行为： #

1. 为什么只输出最终的20而非逐步递增的计数？

你用了TimeWindows.of(1000秒)的时间窗口做聚合（count），默认情况下Kafka Streams对于窗口聚合的结果，只会在窗口完全关闭后输出最终的聚合值，而非每收到一条消息就输出当前累计数。

当你无延迟生产20条消息时，所有消息都落在同一个1000秒的窗口内，因此只有等这个窗口的生命周期结束（加上默认的迟到数据宽限期），才会输出最终的20。如果想看到逐步递增的中间结果，你可以通过suppress()操作控制输出时机：

.count()
// 允许窗口内的聚合结果更新输出，直到窗口关闭
.suppress(Suppressed.untilWindowCloses(Suppressed.BufferConfig.unbounded()))
.toStream()
.map((key, value) -> { 
    System.out.println(value); 
    return KeyValue.pair(key.toString(), value); 
});

不过要注意，频繁输出中间结果会增加系统开销，需要根据业务需求权衡。

2. 为什么存在约20秒的延迟？

这个延迟主要来自Kafka Streams的缓存机制和提交间隔：

• 默认情况下，Kafka Streams为聚合操作启用了缓存（默认缓存1000条记录），只有当缓存满了，或者达到commit.interval.ms（默认30000毫秒，即30秒，你看到的20秒是实际运行中的波动值）时，才会把缓存中的聚合结果刷新到下游（也就是你的打印逻辑）。
• 对于窗口聚合，即使缓存没满，Kafka Streams也不会实时输出中间结果，而是会等提交间隔触发或窗口接近关闭时才输出。

如果你想降低延迟，可以调整以下配置：

// 在创建StreamsConfig时添加配置
Properties props = new Properties();
// 将提交间隔改为5秒
props.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 5000);
// 禁用缓存，每条消息都会触发聚合结果更新
props.put(StreamsConfig.CACHE_MAX_BYTES_BUFFERING_CONFIG, 0);

不过禁用缓存会带来性能损耗，需要根据业务场景选择合适的配置。

另外补充：如果你的业务需求是实时统计每个id的累计数（不需要时间窗口），可以直接去掉windowedBy()做全局聚合，调整缓存和提交间隔后就能看到更实时的计数更新：

stream.groupBy((key, value) -> value.getMetadata().getId())
      .count()
      .toStream()
      .map((key, value) -> { 
          System.out.println(value); 
          return KeyValue.pair(key.toString(), value); 
      });

内容的提问来源于stack exchange，提问作者Gazouu