PySpark工具包拆分后跨模块/包共享Spark Session与Logger方案问询

PySpark原生的SparkSession自带单例特性，结合公共基础包封装工厂方法即可实现全链路共享：

• 先抽离一个所有子包都依赖的公共基础包，比如命名为common，在包内实现Spark Session统一构造逻辑：

# common/spark.py
from pyspark.sql import SparkSession

def get_spark(app_name: str = "data_platform") -> SparkSession:
    # 所有自定义配置统一在此处维护
    return SparkSession.builder \
        .appName(app_name) \
        .config("spark.sql.adaptive.enabled", "true") \
        # 其他自定义配置可继续在此追加
        .getOrCreate()

• 所有拆分后的子包/模块需要用到Spark Session时，直接导入上述get_spark方法调用即可，getOrCreate会优先返回当前进程中已存在的实例，不存在才会新建，保证所有模块拿到的是同一个对象。

同样基于公共基础包实现单例Logger，避免重复初始化和日志重复打印问题：

• 在公共基础包中实现全局Logger构造方法：

# common/logger.py
import logging

def get_logger(module_name: str = "root") -> logging.Logger:
    logger = logging.getLogger(module_name)
    # 避免重复添加handler导致日志重复打印
    if logger.handlers:
        return logger
    # 统一配置日志格式、输出渠道、级别
    formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
    handler = logging.StreamHandler()
    handler.setFormatter(formatter)
    logger.addHandler(handler)
    logger.setLevel(logging.INFO)
    logger.propagate = False
    return logger

• 各子模块调用get_logger时可传入当前模块名作为参数，既保证全局日志配置统一，也能区分不同模块的日志来源。

• 不要在模块顶层直接初始化Spark Session或Logger，避免导入时触发初始化导致循环依赖、配置未加载就初始化的问题，建议在业务方法内部按需调用对应get方法获取实例。
• 多环境配置统一放在公共基础包的配置模块中管理，不要散落在各个子包里，避免配置不一致。

内容的提问来源于stack exchange，提问作者Jerry