ksqlDB是否支持仅重消费特定Key消息?用户配置变更聚合方案咨询
发票数据聚合需求与优化思路
- 核心目标:使用ksqlDB聚合各类发票数据,聚合逻辑依赖用户特定配置(例如日历日截止时间,直接影响数据时间粒度);用户修改配置后需触发该用户的重新统计,最终聚合结果需统一存储到单个KTable,无需借助额外数据库保存最新版本数据。
- 常规处理流程:
Kafka Topic→ 按用户ID分区 → ksqlDB执行聚合 - 常规全局变更方案的局限性:采用升级版本ID、重置偏移、计算新数据、切换至新版本数据的全局方案,会影响所有用户,扩展性不足。
- 拟采用的优化方案:为需要重新聚合的特定用户单独创建流,将各流的聚合结果合并到同一个KTable中,实现仅针对目标用户的重新统计,避免全局影响。
内容的提问来源于stack exchange,提问作者filpa
相关产品推荐
相关产品推荐

