如何获取spark-submit的日志结果并将其转为变量或对象？

一、Shell环境（Bash/Zsh等）下的方法 #

直接在终端里把spark-submit的输出捕获到变量里，注意要把标准错误（stderr）也包含进来——Spark的部分日志会输出到stderr：

• 仅捕获到变量：

# 合并stdout和stderr后存入变量
SPARK_JOB_LOGS=$(spark-submit your_spark_job.py 2>&1)

之后可以用echo "$SPARK_JOB_LOGS"查看变量内容，或用grep等工具过滤日志。

• 同时在终端显示日志并存入变量：
  如果需要一边看实时日志，一边把内容保存到变量和文件，用tee命令：

SPARK_JOB_LOGS=$(spark-submit your_spark_job.py 2>&1 | tee ./spark_job_logs.txt)

终端会正常输出日志，内容同时写入./spark_job_logs.txt文件，并存入SPARK_JOB_LOGS变量。

二、Python中调用Spark作业并捕获日志 #

如果用Python脚本触发Spark作业，用subprocess模块捕获输出：

import subprocess

# 执行spark-submit命令，捕获所有输出
job_result = subprocess.run(
    ["spark-submit", "your_spark_job.py"],
    capture_output=True,
    text=True  # 让输出以字符串形式返回，而非字节
)

# 合并stdout和stderr的日志内容
combined_logs = job_result.stdout + job_result.stderr

# 可直接使用combined_logs变量，比如打印、写入文件或做进一步解析
print(combined_logs)

三、过滤特定级别日志（可选） #

如果只需要提取INFO、WARN、ERROR这类特定级别的日志，配合grep过滤：

# 仅捕获包含INFO/WARN/ERROR的日志行
FILTERED_LOGS=$(spark-submit your_spark_job.py 2>&1 | grep -E "(INFO|WARN|ERROR)")

内容的提问来源于stack exchange，提问作者Diepdang