如何确保输入主题多分区时Kafka Streams并行度为1？

要实现类似Akka中.mapAsync(1)的单并行度处理效果，你需要从两个层面入手干预Kafka Streams的并行机制：

• 第一步：限制应用线程数为1
  在Kafka Streams配置中设置num.stream.threads=1，确保整个应用只启动一个流处理线程。但仅这一步还不够——单个线程仍会并行处理输入主题的多个分区数据。

• 第二步：强制所有消息串行处理
  如果输入主题存在多个分区，单个线程会同时处理不同分区的消息，实际并行度仍大于1。要彻底串行化所有处理逻辑，可采用以下方式：

  • 将输入数据转发到单分区的中间主题：使用through()操作把原输入主题的所有消息发送到一个仅含1个分区的主题，再以这个单分区主题作为新输入源构建后续拓扑。单分区主题的消息会被严格按顺序串行处理，确保全局并行度为1。
  • 聚合场景下使用全局KTable：全局KTable会将所有分区的数据聚合到单一状态实例中，处理时串行执行聚合逻辑，不过这种方式仅适用于聚合场景，且可能带来性能瓶颈。

如果你的输入主题本身就是单分区，仅设置num.stream.threads=1就能直接实现单并行度处理，无需额外操作。

内容的提问来源于stack exchange，提问作者safa