如何在Airflow DAG的secondary_worker_config中配置Dataproc Spot VM

要在secondary_worker_config中配置Spot VM，只需添加"preemptibility": "SPOT"键值对即可，对应UI里将Secondary worker节点Preemptibility设置为Spot的效果。修改后的完整配置如下：

"secondary_worker_config": {
    "num_instances": 5,
    "machine_type_uri": SOME_MACHINE_TYPE,
    "disk_config": {"boot_disk_type": "pd-standard", "boot_disk_size_gb": 1024},
    "image_uri" : SOME_IMAGE_URI,
    "preemptibility": "SPOT"
}

该参数是Dataproc集群节点配置的原生参数，用于指定节点的抢占类型，设置为SPOT后就会使用Spot VM实例。

内容的提问来源于stack exchange，提问作者shady_vaib