EMR环境下如何禁止Jupyter Lab的PySpark日志输出到单元格

你遇到的EMR环境下PySpark日志同时输出到启动终端和Jupyter单元格的问题，本质是EMR默认的Spark日志配置将INFO及以上级别的日志输出到了标准输出，被Jupyter捕获后展示在单元格内。你之前使用的warnings.filterwarnings('ignore')仅能屏蔽Python原生警告，对Spark的log4j日志体系无效，可通过以下方案解决：

方法1：会话内临时设置（单会话生效，不影响其他用户） #

初始化SparkSession后直接设置Spark上下文的日志级别即可，仅对当前会话生效，无需修改服务端配置：

from pyspark.sql import SparkSession

# 初始化Spark会话（保留你原有的builder配置即可）
spark = SparkSession.builder \
    .appName("your_app_name") \
    .getOrCreate()

# 设置日志级别，可选值从高到低为：OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE
# 建议设置为ERROR或WARN即可过滤掉绝大多数冗余的运行日志
spark.sparkContext.setLogLevel("ERROR")

方法2：修改Spark全局配置（集群所有PySpark任务生效） #

如果需要全局生效不需要每次写配置，可修改EMR主节点的Spark日志配置：

• 登录EMR主节点，进入Spark配置目录：cd /etc/spark/conf/
• 备份原配置文件：cp log4j2.properties log4j2.properties.bak
• 编辑log4j2.properties文件，将rootLogger.level = info修改为rootLogger.level = error
• 重启Jupyter服务后生效，所有新建的PySpark会话都会沿用该日志级别

方法3：重定向Jupyter进程输出（仅屏蔽Jupyter侧日志输出） #

如果不需要修改Spark配置，可在启动Jupyter时将进程的标准输出、标准错误重定向到日志文件，避免输出被Jupyter捕获到单元格：

# 可自行替换日志存储路径，提前创建对应的目录即可
jupyter notebook --no-browser --port=8088 --ip=0.0.0.0 > /var/log/jupyter/runtime.log 2>&1

提示：如果是多用户共享的EMR集群，优先选择方法1，避免全局配置修改影响其他用户的日志使用需求。

内容的提问来源于stack exchange，提问作者user6273920