Apache Flink与Flink Runner版Apache Beam流处理选型对比

已梳理确认信息 #

• 目前已完成原生Apache Flink standalone部署模式的全维度相关信息梳理
• 两类方案已确认的通用特性：
  • 均支持有状态操作（stateful operations）
  • 均提供*Exactly-once（恰好一次）*处理语义保证
  • 均可实现与Kafka的良好集成，其中Beam侧的Kafka集成难度略高于原生Flink
• 开发语言支持差异：
  • 原生Flink：支持Java、Scala、Python、SQL
  • 搭载Flink Runner的Apache Beam：支持Java、Python、Go

待验证评估维度 #

目前我还没摸清楚Flink Runner在以下评估维度的实际生产表现，欢迎有相关使用经验的朋友分享见解，后续我拿到对应验证结论也会同步更新内容：

• 易用性（Ease of use）
• 可扩展性（Scalability）
• 延迟表现（Latency）
• 吞吐量（Throughput）
• 通用性（Versatility）
• 指标生成能力（Metrics generation）
• Kubernetes便捷部署能力

更新记录 #

• 已找到一篇讲解Beam使用优势的优质参考文章，阅读时直接忽略其中涉及Airflow的相关内容即可。

内容的提问来源于stack exchange，提问作者Guillaume Delmas-Frenette