Dataflow批处理作业CPU达峰值时反复启停VM，无法并行运行求优化

• 作业流程：从BigQuery读取部分列 → 转换为beam.Row格式 → 对每一列并行应用SqlTransform
• 配置情况：Worker数量设置为1~5
• 异常现象：仅启动1台VM，待其CPU利用率超80%后停止并启动新VM，该循环持续至所有SqlTransform执行完成
• 已尝试方案：在转换步骤后添加reshuffle防止融合，问题仍存在
• 更新猜测：活跃VM CPU达100%时，吞吐量不足，无法触发并行创建新VM

监控图表 #

• VM启停情况：
• CPU监控图表1：
• CPU监控图表2：

内容的提问来源于stack exchange，提问作者crbl