Python Logger日志未在Docker容器日志中显示的配置咨询

针对你遇到的Spark容器集群中Python日志无法在容器stdout/stderr查看的问题，可通过以下几种方式排查修复：

1. 明确指定StreamHandler的输出流 #

默认情况下logging.StreamHandler()绑定的是sys.stderr，如果容器日志采集仅监听stdout，会导致日志无法被捕获。修改代码明确指定输出到stdout，同时禁止日志向上传播避免被root logger拦截：

import sys
import logging

logger = logging.getLogger(app_name)
logger.setLevel(logging.DEBUG)
logFormatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
# 明确指定输出到stdout
consoleHandler = logging.StreamHandler(stream=sys.stdout)
consoleHandler.setFormatter(logFormatter)
logger.addHandler(consoleHandler)
# 禁止日志向上传播，避免被其他handler拦截
logger.propagate = False

2. 禁用Spark对Python输出的捕获 #

Spark默认会捕获Python进程的stdout/stderr并写入自身日志文件，而非直接输出到容器标准流。提交任务时添加以下配置关闭该行为：

spark-submit \
  --conf spark.driver.pyspark.stdoutCapture.enabled=false \
  --conf spark.executor.pyspark.stdoutCapture.enabled=false \
  --conf spark.driver.pyspark.stderrCapture.enabled=false \
  --conf spark.executor.pyspark.stderrCapture.enabled=false \
  your_app.py

3. 检查Spark日志级别配置 #

确保Spark的日志级别不会过滤掉你的Python日志输出，提交任务时可显式设置日志级别：

spark-submit \
  --conf spark.driver.log.level=DEBUG \
  --conf spark.executor.log.level=DEBUG \
  your_app.py

4. 验证容器日志采集机制 #

• 使用Docker时，直接通过docker logs <容器ID>查看容器标准输出，确认日志是否存在；
• Kubernetes集群环境下，用kubectl logs <Pod名称>查看Pod的stdout/stderr；
• 检查容器启动脚本是否存在重定向stdout/stderr的操作，确保输出未被写入其他文件。

内容的提问来源于stack exchange，提问作者Luis Simoes