本地运行PySpark时如何抑制警告？多种尝试均无效

你遇到的这些警告属于Spark的Java日志系统输出，并非Python标准库的警告，因此之前使用的Python stdout重定向、warnings模块、shutup工具均无法生效，需要针对Spark的日志配置进行处理。以下是几种可行方案：

方法1：初始化前配置Spark日志级别 #

在创建SparkSession前，直接设置Spark的日志级别为ERROR，过滤WARN级别的输出：

from pyspark.sql import SparkSession
from pyspark import SparkContext
import logging

# 抑制py4j的日志输出
logger = logging.getLogger('py4j')
logger.setLevel(logging.ERROR)

# 设置Spark全局日志级别为ERROR
SparkContext.setLogLevel("ERROR")

spark = SparkSession.builder.getOrCreate()

此方法可抑制大部分启动后的WARN日志，但无法覆盖Spark初始化最早期的部分警告（如hostname解析警告）。

方法2：修改log4j配置文件（彻底抑制所有警告） #

Spark默认使用log4j管理日志，通过修改配置文件可全局调整日志规则：

1. 找到Spark安装目录下的conf/log4j.properties.template，复制并重命名为log4j.properties
2. 打开文件，修改根日志级别：

   # 原配置
   log4j.rootCategory=WARN, console
   # 修改为
   log4j.rootCategory=ERROR, console
   

3. 若仅需关闭特定类的警告（如Utils、NativeCodeLoader），可添加：

   log4j.logger.org.apache.spark.util.Utils=ERROR
   log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
   

4. 保存文件后重启PySpark，指定级别的警告将被完全抑制。

方法3：临时通过环境变量指定日志配置 #

无需修改Spark全局配置，可在启动脚本时临时指定自定义log4j配置：

• 命令行启动方式：

  spark-submit --driver-java-options "-Dlog4j.configuration=file:/path/to/your/log4j.properties" your_script.py
  

• 脚本内设置环境变量（需在导入Spark模块前执行）：

  import os
  os.environ['PYSPARK_SUBMIT_ARGS'] = '--driver-java-options "-Dlog4j.configuration=file:/path/to/your/log4j.properties" pyspark-shell'
  
  from pyspark.sql import SparkSession
  spark = SparkSession.builder.getOrCreate()
  

方法4：根源解决hostname解析警告 #

针对WARN Utils: Your hostname... resolves to a loopback address警告，可修改本地hosts文件消除根源：

1. 打开hosts文件：
   • Linux/macOS：/etc/hosts
   • Windows：C:\Windows\System32\drivers\etc\hosts（需管理员权限）
2. 添加一行映射（替换为你的实际IP和主机名）：

   192.168.26.41 [HOSTNAME]
   

3. 保存文件后重启PySpark，该警告将彻底消失。

内容的提问来源于stack exchange，提问作者ThePortakal