You need to enable JavaScript to run this app. 通过Airflow SparkSubmitOperator提交到YARN的PySpark日志存储位置查询
优惠活动
大模型
产品
解决方案
定价
更多

通过Airflow SparkSubmitOperator提交到YARN的PySpark日志存储位置查询

PySpark on YARN 自定义日志找不到问题排查与日志位置说明

一、先排查日志未生成的常见原因

你当前的logging代码默认不会输出INFO级别的日志,Python logging模块默认级别为WARNING,未显式配置级别和输出流的情况下,INFO日志会被直接丢弃,需先调整代码:

import logging
import sys
# 配置日志输出到标准输出,级别设为INFO
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
    stream=sys.stdout
)
logger = logging.getLogger("myapp")
logger.info("this is to log")

调整后日志会输出到进程标准输出,才能被YARN的日志收集模块捕获。

二、PySpark on YARN 日志存储位置

2.1 通用查询方式(最便捷)

无论是否开启YARN日志聚合,都可以直接通过YARN命令行直接拉取对应应用的全量日志,指定拉取标准输出流即可:

yarn logs -applicationId <你的YARN应用ID> -log_files stdout
  • 如果你要查询driver的日志,可加参数-containerId <driver容器ID>过滤
  • 如果你要查询executor的日志,对应替换为executor的容器ID即可

2.2 未开启YARN日志聚合的本地存储路径

日志会分散存储在各NodeManager节点的本地磁盘,默认路径为:

${hadoop.tmp.dir}/nm-local-dir/userlogs/<应用ID>/<容器ID>/stdout

其中hadoop.tmp.dir的默认值为/tmp/hadoop-${user.name}。

2.3 开启YARN日志聚合的HDFS存储路径

日志会被归档存储到HDFS集群的指定目录,默认路径为:

/tmp/logs/${提交任务的用户名}/logs/<应用ID>/

该路径下为归档格式的日志文件,无法直接读取,需使用2.1的yarn logs命令解析查看。

三、优化配置让日志可在Airflow任务页直接查看

可在SparkSubmitOperator的conf参数中增加以下配置,让driver日志直接回传到Airflow的任务输出中:

spark_etl= SparkSubmitOperator(
    task_id = "etl_job",
    name = "transform files",
    application = "test.py",
    conf={
        "spark.yarn.submit.waitAppCompletion": "true",
        "spark.yarn.show.driver.logs": "true"
    },
    # 其余配置
    ....
)

注意:仅driver端执行的代码日志可以回传到Airflow,在算子内(如map、foreach等)运行的executor端代码日志,只能通过YARN日志查询获取,不会出现在Airflow或driver日志中。

内容的提问来源于stack exchange,提问作者user4046073

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 23:15:05