Databricks/Spark原生日志库咨询：Notebook类print日志实现

关于Spark原生日志库 #

Spark本身基于SLF4J进行日志管理，但Python生态中并没有提供直接可用的、类print风格的Spark原生日志库。你想要的logger("消息")这种极简调用方式，Spark原生并不支持，需要通过Python自身工具或Databricks专属方法实现。

解决Python logging的debug/info不输出问题 #

你遇到的debug和info日志不显示的问题，是因为Python logging模块默认日志级别为WARNING，只有级别≥WARNING的日志才会输出。只需调整日志级别即可解决：

import logging

# 获取logger实例
logger = logging.getLogger(__name__)
# 设置日志级别为DEBUG（会输出所有级别日志），也可设为INFO
logger.setLevel(logging.DEBUG)

# 现在所有级别日志都能输出到Notebook
logger.debug("About to do something")
logger.info("This is an informational message")
logger.warning("This is a warning message")
logger.error("This is an error message")

如果需要更规范的日志格式，可添加处理器和格式器：

import logging

logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)

# 避免重复添加处理器
if not logger.handlers:
    # 创建控制台处理器（对应Notebook输出）
    handler = logging.StreamHandler()
    # 设置日志格式
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    handler.setFormatter(formatter)
    logger.addHandler(handler)

logger.info("带格式的信息日志")
logger.debug("带格式的调试日志")

更贴近类print的极简日志实现 #

如果你想要完全像logger("消息")这种极简调用，可自定义一个简单函数，直接实现打印逻辑，还能结合级别控制：

import datetime

def logger(msg, level="info"):
    timestamp = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    level_tag = level.upper()
    print(f"[{timestamp}] [{level_tag}] {msg}")

# 调用示例
logger("The process 1 is starting...")
logger("调试信息", level="debug")
logger("警告信息", level="warning")

Databricks专属日志技巧 #

• 如果需要将日志同步输出到集群日志存储（如ADLS），可通过调整集群日志配置实现，但Notebook内的即时输出仍依赖Python logging或print。
• 使用dbutils.notebook.run调用子Notebook时，子Notebook的print/logging输出会自动回显到父Notebook中。

内容的提问来源于stack exchange，提问作者Tiago