GCP DataProc集群中Spot/标准抢占式节点的优雅停用有效性问询

• 给DataProc次级节点（不管是标准抢占式VM还是Spot VM）配置优雅停用后，这个机制是生效的，不会被GCP立即强制回收。
• 具体的回收流程如下：
  • GCP会先向节点发送抢占通知，节点收到通知后触发优雅停用流程。
  • DataProc会尝试将节点上正在运行的任务迁移到集群内其他可用节点，或是等待当前任务完成——这取决于任务类型和你设置的优雅停用阈值。
  • 只有当任务完成、迁移完成，或是达到你配置的优雅停用时间上限后，节点才会被正式回收。
  • 如果在优雅停用窗口期内无法完成任务迁移或收尾，节点最终还是会被强制回收，但这个缓冲期已经给了任务处理收尾的机会。
• 补充说明：优雅停用的实际效果和你设置的阈值时长（比如通过--secondary-node-preemption-timeout参数配置）、任务本身是否支持中断迁移直接相关。

内容的提问来源于stack exchange，提问作者user3103957