Dataproc Serverless配额不足，Airflow触发超10批处理失败求配置方案

一、先搞定GCP Dataproc的配额限制 #

你遇到的核心问题是GCP默认的Dataproc Serverless批处理并发作业配额（通常是5-6个），和Airflow worker数量没关系。调整步骤：

• 打开GCP控制台，进入「IAM与管理」→「配额」页面，搜索dataproc.googleapis.com/serverless_batch_jobs（对应显示名称是「Dataproc Serverless 批处理作业数」）
• 点击「编辑配额」，把并发数改成10以上（比如15），提交申请后等GCP审核通过（一般几小时内搞定）
• 顺便检查关联资源配额：CPU、内存、持久磁盘这些，每个批处理任务都会占这些资源，要是这些配额不够，就算批处理作业数够了也会失败，一起调到位

二、Airflow调度配置调整 #

虽然改worker数量没用，但要确保Airflow本身能触发足够多的任务，别被自身限制卡了：

• 修改airflow.cfg里的两个核心参数：

  parallelism = 20  # 全局最大并发任务数，设成比10大的值
  dag_concurrency = 15  # 单个DAG的最大并发任务数
  

• 要是用CeleryExecutor，得保证celeryd_concurrency（每个worker的并发数）乘以worker总数能覆盖10+任务，比如3个worker，每个worker并发5，总并发就是15
• 检查DAG的依赖设置：别开depends_on_past或wait_for_downstream这类会限制并发的参数，除非你真的需要

三、优化Dataproc任务的资源配置 #

减少单任务的资源占用，让现有配额能跑更多任务：

• 换更小的机器类型：比如把n2-standard-4改成n2-standard-2，降低单任务的CPU和内存消耗
• 设置任务超时：给每个批处理任务加max_execution_time，防止僵尸任务一直占着配额
• 开自动扩缩容：开启Dataproc Serverless的自动扩缩容，让任务根据负载动态调资源，提高利用率

四、Airflow任务触发的关键配置 #

用DataprocServerlessBatchOperator时，一定要改这个参数：

from airflow.providers.google.cloud.operators.dataproc import DataprocServerlessBatchOperator

batch_task = DataprocServerlessBatchOperator(
    task_id="run_dataproc_batch",
    project_id="你的GCP项目ID",
    region="你的区域",
    batch={
        "spark_batch": {
            "main_class": "com.example.YourJob",
            "jar_file_uris": ["gs://你的存储桶/jobs/你的任务.jar"]
        }
    },
    wait_for_completion=False  # 重点！设为False后Airflow提交任务就放行，不会占worker等着任务结束
)

如果需要监控任务完成状态，用DataprocServerlessBatchSensor异步监控就行，别让Operator一直阻塞。

内容的提问来源于stack exchange，提问作者Nandeeshwar Reddy