关于Google Dataflow有界数据流式管道的定价规则咨询

只要你开启了--streaming参数，整个Dataflow管道就会被判定为流式管道，所有计费规则都严格遵循流式定价标准，和你管道里的数据源是否有界、中间步骤是不是批处理逻辑无关，具体影响如下：

• 数据摄入体积计费：从BigQuery读取的所有有界表数据，都会被计入流式管道的“数据摄入体积”计费项，按实际读取的数据量收费。
• 管道复杂度计费：整个管道的运行时长会乘以Dataflow自动计算的复杂度系数来计费，不管你中间是批处理还是流式逻辑，只要管道在流式模式下运行，就按这个规则来。
• shuffle/有状态DoFn阶段计费：如果你的管道里有含shuffle操作或有状态DoFn的阶段——哪怕这些阶段是用来处理有界数据的——都会被纳入对应的流式计费项，和纯流式场景下的收费逻辑一致。

额外优化建议 #

如果你的数据源是完全有界的，只是需要定时用FILE_LOADS方法写入BigQuery，可以考虑用Cloud Scheduler定期触发批处理管道的方案：每次触发时处理一批数据，完成后用FILE_LOADS写入BigQuery。这种方式可以避免流式模式带来的额外成本，更贴合你大部分逻辑是批处理的场景。

内容的提问来源于stack exchange，提问作者Asif Iqbal