GCP Dataproc配置YARN公平调度器：单作业运行自动化设置

我来帮你搞定这个Dataproc集群的作业排队自动化配置问题——既然已经选对了FairScheduler的方向，接下来咱们把整个流程彻底自动化，适配你频繁创建新集群的场景。

核心思路 #

通过在集群创建阶段就注入FairScheduler的规则配置，让每个新集群自动生效“单作业运行、其余排队”的逻辑，完全省去手动配置的步骤。

步骤1：定义FairScheduler队列规则 #

先创建一个fair-scheduler.xml配置文件，里面指定默认队列的最大并发作业数（这里设为1，你可以根据需求改成任意数值）：

<?xml version="1.0"?>
<allocations>
  <queue name="default">
    <maxRunningApps>1</maxRunningApps>
  </queue>
</allocations>

把这个文件上传到你的GCS存储桶中，比如gs://your-bucket/fair-scheduler.xml，方便集群创建时自动拉取。

步骤2：完善集群创建配置 #

在你现有的softwareConfig基础上，补充FairScheduler配置文件的路径，确保所有相关属性都正确设置：

"softwareConfig": {
  "properties": {
    "yarn:yarn.resourcemanager.scheduler.class": "org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler",
    "yarn:yarn.scheduler.fair.allocation.file": "gs://your-bucket/fair-scheduler.xml",
    "yarn:yarn.scheduler.fair.preemption": "false"  // 可选：禁用抢占，避免正在运行的作业被强制中断
  }
}

如果用gcloud命令创建集群，对应的参数写法是：

gcloud dataproc clusters create your-cluster-name \
  --region your-target-region \
  --software-properties yarn:yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler,yarn:yarn.scheduler.fair.allocation.file=gs://your-bucket/fair-scheduler.xml,yarn:yarn.scheduler.fair.preemption=false \
  # 补充你的其他集群参数，比如机器类型、节点数量等

步骤3：验证配置生效情况 #

集群创建完成后，你可以通过两种方式确认配置是否生效：

• 访问YARN ResourceManager UI（集群主节点的8088端口），进入Scheduler页面查看队列配置，确认default队列的Max Running Apps是你设置的数值。
• 登录集群主节点，执行命令：yarn queue -status default，输出结果里会明确显示maxRunningApps的配置值。

额外提示 #

• 如果需要更复杂的队列规则（比如多队列分配、不同队列设置不同并发数），直接修改fair-scheduler.xml即可，后续创建的集群会自动加载最新配置。
• 确保GCS存储桶的权限正确，Dataproc集群的服务账号默认拥有同项目GCS桶的读取权限，若跨项目则需要额外配置IAM权限。

这样每次创建新集群时，都会自动启用作业排队规则，再也不用手动重复配置啦！

内容的提问来源于stack exchange，提问作者Ondrej