Google Cloud Dataflow批/流处理：有界数据场景下性能与成本效率咨询

1. 批处理与流处理的性能及成本对比 #

• 针对网络绑定型任务（如外部API调用），相同Worker数量下，流处理模式的性能和成本效率碾压批处理模式。
• 核心原因：流处理每个Worker默认运行300线程，能同时发起大量API调用，充分利用Worker的网络资源；而批处理每个Worker仅单线程，相同x个Worker的情况下，流处理的并发能力是批处理的300倍。
• 处理350万条数据时，流处理所需的Worker数量会远少于批处理，既能更快完成任务，又能大幅降低计算资源成本。

2. 流处理模式下是否需要将BigQuery数据导入Pub/Sub？ #

• 完全不需要。Dataflow基于Beam框架，支持直接在流处理模式中读取BigQuery的有界数据集，不需要经过Pub/Sub中转。
• 你可以直接用BigQueryIO.read()在流模式作业中读取BigQuery表数据，作业会自动将其作为有界数据流处理，全程无需额外的中间组件。

内容的提问来源于stack exchange，提问作者Sunil