Dataflow状态持久化选型：Windmill/Persistent Disks还是BigTable更适配？

首先明确两个方案的适配场景，你可以根据自身需求选择：

内置Windmill/持久盘状态后端的能力边界 #

• 你的两个核心聚合需求完全可以被满足：
  • 1分钟全局窗口的实时指标聚合：Windmill的状态读写在作业内部完成，延迟极低，没有外部存储调用开销，非常适配短窗口高频聚合场景
  • 超100万规模的会话长期聚合（如用户注册以来最高单价商品统计）：Windmill底层基于持久盘做持久化，支持TB级状态存储，配合Beam的State TTL能力可以自动管理状态生命周期，完全可以承载百万级会话的状态量
• 核心短板：Windmill存储的状态是Dataflow作业私有资源，没有对外访问接口，无法满足你「不干扰作业运行的前提下外部访问聚合结果」的需求，只能在作业内部将结果输出到其他外部存储供下游使用。

BigTable作为外部状态存储的优劣势 #

• 核心优势：
  • 完美支持外部访问需求：状态直接写入BigTable，外部查询请求直接访问BigTable即可，完全不会对Dataflow实时作业产生干扰
  • 状态与作业解耦：作业重启、逻辑升级不需要做状态迁移，维护成本更低
  • 支持百万级会话的高并发读写，性能完全满足你的业务规模需求
• 劣势：
  • 开发成本略高于内置状态：需要自行实现状态读写的逻辑，还要考虑写入重试、一致性等问题
  • 会产生额外的BigTable使用成本，且跨服务调用的延迟略高于内置状态

最终选型建议 #

• 如果你不需要外部服务随机查询单维度聚合结果，仅需要把聚合结果定时输出到消息队列、数仓等下游系统，优先选择内置Windmill状态后端，开发更简单、性能更高、成本更低
• 如果你需要支持外部服务随时查询单个用户、单个会话的聚合结果，优先选择BigTable作为状态存储，能完全匹配你的外部访问需求。

内容的提问来源于stack exchange，提问作者py-r