Spark集群模式下如何使DEBUG/INFO级日志在stdout中显示？

看起来你遇到的问题是Spark集群模式下，spark.sparkContext.setLogLevel("DEBUG")没有按预期生效，导致DEBUG和INFO级别的日志没出现在stdout里。这其实是因为Spark的日志系统分为**JVM端（Spark核心组件）和Python端（你的脚本代码）**两部分，而且集群模式下的日志控制比本地模式更严格。下面分步骤帮你解决：

1. 先配置Python脚本自身的日志系统 #

Python的logging模块和Spark的JVM日志是完全独立的，哪怕Spark设置了DEBUG级别，Python代码里的日志如果没正确配置，还是不会输出。你需要在脚本开头添加Python日志的配置：

import logging

# 配置Python日志的级别和格式
logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
)
logger = logging.getLogger(__name__)

之后你用logger.debug()、logger.info()输出的内容就会按级别显示了。

2. 调整Spark JVM端的日志配置（关键） #

spark.sparkContext.setLogLevel("DEBUG")只能设置driver端的Spark核心日志级别，而集群模式下executor是独立启动的JVM进程，这个设置不会同步过去。而且Spark默认的log4j配置（集群级）可能把日志级别限制在了WARN及以上，所以需要通过以下方式覆盖：

方法一：提交作业时通过参数临时配置 #

创建一个log4j.properties文件（如果你的Spark用的是log4j2，就用log4j2.xml），内容如下：

# 设置根日志级别为DEBUG，输出到控制台
log4j.rootLogger=DEBUG, console

# 控制台输出配置
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

# 可选：如果某些Spark组件日志太冗余，可以单独调低级别
# log4j.logger.org.apache.spark=INFO

然后提交作业时添加--conf参数指定这个配置文件：

spark-submit --master yarn --deploy-mode cluster \
  --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:/path/to/your/log4j.properties" \
  --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/path/to/your/log4j.properties" \
  test_logging.py

注意：要确保所有集群节点都能访问到这个log4j.properties文件（比如放在共享存储上，或者分发到每个节点的相同路径）。

方法二：修改集群默认日志配置（长期生效） #

如果你的集群经常需要输出DEBUG/INFO日志，可以修改Spark的默认配置：

1. 找到Spark安装目录下的conf/log4j.properties.template（或log4j2.xml.template）
2. 复制为conf/log4j.properties，修改log4j.rootLogger的级别为DEBUG, console
3. 同步这个配置文件到所有集群节点的Spark conf目录，然后重启集群服务

3. 确认setLogLevel的正确使用 #

虽然它不能覆盖executor的日志级别，但在driver端还是有效的，一定要在SparkContext初始化完成后调用：

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("TestLogging").getOrCreate()
# 必须在SparkSession/SparkContext创建后调用
spark.sparkContext.setLogLevel("DEBUG")

4. 正确查看集群模式下的日志 #

集群模式下，driver和executor的日志不一定直接输出到stdout：

• 如果是YARN集群，用yarn logs -applicationId <你的应用ID>查看完整的聚合日志
• 如果是Standalone集群，driver日志在提交节点的Spark日志目录，executor日志在各个Worker节点的日志目录

完整示例脚本 #

把以上配置整合到你的test_logging.py里：

import logging
from pyspark.sql import SparkSession

# 配置Python日志
logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)

if __name__ == "__main__":
    spark = SparkSession.builder.appName("DebugLoggingTest").getOrCreate()
    spark.sparkContext.setLogLevel("DEBUG")
    
    # 测试Python日志
    logger.debug("Python DEBUG message")
    logger.info("Python INFO message")
    logger.warn("Python WARN message")
    
    # 测试Spark核心日志（触发RDD操作）
    rdd = spark.sparkContext.parallelize([1,2,3,4])
    print(f"RDD count: {rdd.count()}")
    
    spark.stop()

内容的提问来源于stack exchange，提问作者LateCoder