Dataproc Job无输出：Airflow提交Spark作业偶发长时间无返回问题

• JDBC连接无超时触发无限等待：dataproc-1-4-deb10配套的Spark版本为2.4.x，默认JDBC连接未配置socket超时、连接超时类参数，当数据源侧出现连接池打满、网络波动、端口限制等异常时，JDBC驱动会进入静默阻塞状态，不会抛出错误日志，直接导致Spark作业卡在初始化阶段，Airflow侧仅能看到Waiting for job output...的占位输出。
• Airflow日志拉取逻辑限制：默认配置的Airflow Dataproc作业提交操作符仅拉取作业的stdout标准输出，当作业卡在Driver侧初始化逻辑、未向stdout打印任何内容时，Airflow不会主动拉取YARN、Spark Driver的后台运行日志，无法展示真实阻塞原因。
• 集群资源抢占风险：如果使用的是共享Dataproc集群，或者集群配置了可抢占工作节点，Spark Driver可能被调度到资源不足的节点，或者在运行过程中被其他高优先级作业抢占资源，导致作业无响应无输出。

• 补充JDBC超时与作业重试配置：在PySpark的JDBC读取参数中新增超时控制项，避免无限阻塞：

jdbc_df = spark.read.format("jdbc") \
    .option("url", "你的JDBC连接串") \
    .option("dbtable", "你的表名") \
    .option("user", "用户名") \
    .option("password", "密码") \
    # 新增超时配置，单位为毫秒
    .option("connectTimeout", "60000") \
    .option("socketTimeout", "300000") \
    .load()

同时在Airflow的作业提交Operator中添加重试配置，设置retries=2，重试间隔设置为300秒，偶发网络波动类问题可通过重试直接解决。

• 开启全量日志拉取：在Airflow的DataprocSubmitJobOperator配置中开启后台日志同步，配置后Airflow会同步拉取Spark Driver、YARN的全量运行日志，后续出现异常可直接在Airflow日志中定位阻塞原因。
• 配置Driver资源隔离：在Spark作业提交参数中固定Driver资源配额，避免资源不足导致阻塞：

spark.driver.cores=2
spark.driver.memory=4g
# 可选：将Driver调度到Dataproc主节点，避免被工作节点资源抢占
spark.yarn.am.nodeLabelExpression=master

如果再次出现无输出异常，可直接登录Dataproc主节点执行命令排查：

• 执行yarn application -list获取卡住的Spark作业的Application ID
• 执行yarn logs -applicationId <替换为你的作业ID>即可查看完整运行日志，确认具体阻塞节点。

内容的提问来源于stack exchange，提问作者Shubham Asabe