Azure Databricks Python Notebook中Executor日志级别免重复设置方法

你不需要在每个运行于Worker的方法里重复设置日志级别，以下几种方案可以帮你统一配置所有Executor的日志：

1. 利用广播变量+分区初始化（Notebook内灵活实现） #

通过广播变量把日志配置发送到所有Executor，然后在每个分区处理前初始化一次日志（而非每条记录），既避免重复代码，又保证每个Executor进程只初始化一次日志。

示例代码： #

import logging
from pyspark import SparkContext

# Driver端定义日志配置
log_config = {
    'level': logging.INFO,
    'format': '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
}

# 广播配置到所有Executor
broadcast_log_conf = SparkContext.getOrCreate().broadcast(log_config)

def init_executor_logger():
    """Executor端初始化日志配置，每个进程仅执行一次"""
    conf = broadcast_log_conf.value
    logging.basicConfig(level=conf['level'], format=conf['format'])

def process_record(record):
    """业务处理方法，无需重复设置日志"""
    logging.info(f"Processing record: {record}")
    # 你的业务逻辑代码

# 用foreachPartition实现分区级初始化
df.foreachPartition(lambda partition: (
    init_executor_logger(), 
    [process_record(r) for r in partition]
))

2. 集群级全局日志配置（一劳永逸） #

如果你的日志格式和级别是固定的，直接在Databricks集群的Spark配置中全局设置，所有Executor启动时会自动加载配置：

步骤： #

1. 创建一个日志配置文件（比如logging.conf），内容如下：

[loggers]
keys=root

[handlers]
keys=consoleHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=INFO
handlers=consoleHandler

[handler_consoleHandler]
class=StreamHandler
level=INFO
formatter=simpleFormatter
args=(sys.stdout,)

[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=%Y-%m-%d %H:%M:%S

2. 将该文件上传到DBFS（比如dbfs:/databricks/configs/logging.conf）
3. 编辑集群的Spark配置，添加以下参数：

spark.executorEnv.PYTHONLOGGINGCONFIG=dbfs:/databricks/configs/logging.conf

4. 重启集群后，所有Executor会自动加载该配置，代码中无需再写logging.basicConfig

3. 自定义Executor初始化脚本 #

如果需要更复杂的初始化逻辑（比如除了日志还要设置其他环境变量），可以创建一个Python初始化脚本，让Executor启动时自动执行：

步骤： #

1. 创建executor_init.py脚本，内容如下：

import logging

# 初始化日志配置
logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
)
# 其他初始化逻辑（如设置环境变量、导入依赖等）

2. 上传脚本到DBFS（比如dbfs:/databricks/scripts/executor_init.py）
3. 在集群的Spark配置中添加：

spark.executor.extraPythonFile=dbfs:/databricks/scripts/executor_init.py

4. 重启集群后，每个Executor启动时会自动执行该脚本，完成日志初始化

为什么不推荐重复设置？ #

你原来的写法中，logging.basicConfig在同一个Executor进程中只会生效一次（后续调用会被忽略），但重复写不仅冗余，还会增加不必要的代码维护成本。上面的方案都能保证每个Executor进程仅初始化一次日志配置，完全符合官方文档中"在每个Worker的JVM内设置日志级别"的要求。

内容的提问来源于stack exchange，提问作者Anand