通过Airflow SparkSubmitOperator提交到YARN的PySpark日志存储位置查询
PySpark on YARN 自定义日志找不到问题排查与日志位置说明
一、先排查日志未生成的常见原因
你当前的logging代码默认不会输出INFO级别的日志,Python logging模块默认级别为WARNING,未显式配置级别和输出流的情况下,INFO日志会被直接丢弃,需先调整代码:
import logging import sys # 配置日志输出到标准输出,级别设为INFO logging.basicConfig( level=logging.INFO, format="%(asctime)s - %(name)s - %(levelname)s - %(message)s", stream=sys.stdout ) logger = logging.getLogger("myapp") logger.info("this is to log")
调整后日志会输出到进程标准输出,才能被YARN的日志收集模块捕获。
二、PySpark on YARN 日志存储位置
2.1 通用查询方式(最便捷)
无论是否开启YARN日志聚合,都可以直接通过YARN命令行直接拉取对应应用的全量日志,指定拉取标准输出流即可:
yarn logs -applicationId <你的YARN应用ID> -log_files stdout
- 如果你要查询driver的日志,可加参数
-containerId <driver容器ID>过滤 - 如果你要查询executor的日志,对应替换为executor的容器ID即可
2.2 未开启YARN日志聚合的本地存储路径
日志会分散存储在各NodeManager节点的本地磁盘,默认路径为:
${hadoop.tmp.dir}/nm-local-dir/userlogs/<应用ID>/<容器ID>/stdout
其中hadoop.tmp.dir的默认值为/tmp/hadoop-${user.name}。
2.3 开启YARN日志聚合的HDFS存储路径
日志会被归档存储到HDFS集群的指定目录,默认路径为:
/tmp/logs/${提交任务的用户名}/logs/<应用ID>/
该路径下为归档格式的日志文件,无法直接读取,需使用2.1的yarn logs命令解析查看。
三、优化配置让日志可在Airflow任务页直接查看
可在SparkSubmitOperator的conf参数中增加以下配置,让driver日志直接回传到Airflow的任务输出中:
spark_etl= SparkSubmitOperator( task_id = "etl_job", name = "transform files", application = "test.py", conf={ "spark.yarn.submit.waitAppCompletion": "true", "spark.yarn.show.driver.logs": "true" }, # 其余配置 .... )
注意:仅driver端执行的代码日志可以回传到Airflow,在算子内(如map、foreach等)运行的executor端代码日志,只能通过YARN日志查询获取,不会出现在Airflow或driver日志中。
内容的提问来源于stack exchange,提问作者user4046073
相关产品推荐
相关产品推荐

