如何在无sc对象及$SPARK_HOME的PySpark作业中设置logLevel？

我之前用pip安装PySpark的时候也碰到过这个问题——没有SPARK_HOME环境变量，找不到log4j.properties的位置，而且非Spark Shell环境下也没有现成的sc对象。其实不用纠结配置文件，直接通过代码就能搞定日志级别设置，给你两种实用方法：

方法一：创建SparkSession时通过SparkConf指定日志配置 #

如果你已经有自定义的log4j.properties文件（哪怕是临时写的），可以在初始化SparkSession的时候直接指定路径：

from pyspark.sql import SparkSession

# 假设你的log4j.properties在当前目录下
spark = SparkSession.builder \
    .appName("YourAppName") \
    .config("spark.driver.extraJavaOptions", "-Dlog4j.configuration=file:./log4j.properties") \
    # 如果是集群模式，还要加上executor的配置
    # .config("spark.executor.extraJavaOptions", "-Dlog4j.configuration=file:/path/to/log4j.properties") \
    .getOrCreate()

这种方法适合需要自定义完整日志格式、输出路径的场景。

方法二：直接通过代码修改log4j日志级别（最便捷） #

如果只是想快速调整日志级别（比如把INFO改成WARN/ERROR减少输出），可以直接调用底层的log4j API，不需要配置文件：

from pyspark.sql import SparkSession

# 先初始化SparkSession
spark = SparkSession.builder.appName("YourAppName").getOrCreate()

# 获取log4j的Java对象
log4j = spark.sparkContext._jvm.org.apache.log4j

# 设置Spark核心组件的日志级别为WARN
spark_logger = log4j.LogManager.getLogger("org.apache.spark")
spark_logger.setLevel(log4j.Level.WARN)

# 可选：设置Spark SQL相关的日志级别为ERROR，进一步减少输出
sql_logger = log4j.LogManager.getLogger("org.apache.spark.sql")
sql_logger.setLevel(log4j.Level.ERROR)

# 如果你还想调整其他类的日志，比如自己的业务代码，也可以用同样的方式
custom_logger = log4j.LogManager.getLogger("com.yourcompany.yourapp")
custom_logger.setLevel(log4j.Level.INFO)

这种方法的好处是完全程序化，不用找配置文件，适合快速调试或者动态调整日志级别。

补充说明 #

用pip安装的PySpark，其实Spark的依赖jar包都在虚拟环境的site-packages/pyspark/jars目录下，但我们不需要手动去碰这些文件——上面的代码会直接调用Java层面的日志接口生效。

内容的提问来源于stack exchange，提问作者Adair