PySpark如何将控制台stderr输出写入指定目录的日志文件

方法1：直接在Shell重定向中指定绝对路径（最简单） #

你原来的写法默认是将日志输出到执行命令时的当前工作目录，只需要把重定向的目标文件替换为你自定义目录的绝对路径即可。

示例操作：比如你要把日志存到/home/user/pyspark_logs/目录下

# 先确保自定义目录存在，没有的话先创建
mkdir -p /home/user/pyspark_logs
# 提交命令直接指定全路径
spark2-submit test.py > /home/user/pyspark_logs/results.txt 2>&1

该方法特点：

• 会捕获所有输出：包括Spark框架日志、你PySpark代码中print的内容、代码抛出的异常堆栈等所有stdout和stderr输出
• 无需修改任何Spark配置或代码，仅调整提交命令即可

方法2：通过Log4j配置自定义日志输出（适合精细化控制） #

如果需要单独控制Spark框架的日志级别、输出格式、拆分日志等需求，可以通过自定义Log4j配置实现：

1. 提前准备好自定义的log4j.properties配置文件，在文件中配置输出Appender到你指定的目录，示例配置片段：

log4j.rootCategory=INFO, file
log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=/home/user/pyspark_logs/spark_run.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

2. 提交命令时指定该配置文件：

spark2-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/home/user/conf/log4j.properties" test.py

该方法特点：

• 仅控制Spark框架本身的日志输出，你PySpark代码中主动print到stdout/stderr的内容不会被该配置捕获
• 支持更灵活的日志规则配置，比如按大小滚动日志、分级别输出等

注意事项 #

• 所有指定的自定义目录需要提前创建，并且当前执行命令的用户对该目录有读写权限，否则会出现权限报错
• 如果重定向时写的是相对路径，路径是相对于执行spark2-submit命令时的工作目录，而非PySpark脚本所在的目录，容易写错路径建议优先用绝对路径

内容的提问来源于stack exchange，提问作者Padfoot123