如何实现Python类版本感知，满足SparkML transformer模型版本监控需求？

核心逻辑为构建阶段自动生成类版本元数据+运行时自动注入属性，完全无需手动维护版本，也不侵入日常开发流程。

1. 构建阶段自动生成Git维度的类版本元数据 #

无需使用Git Hook修改源代码，仅在CI/CD打包环节执行一次版本生成逻辑：

• 用setuptools-scm获取全局包版本信息，额外编写自定义构建脚本遍历所有继承自pyspark.ml.Transformer的子类
• 对每个Transformer类，执行git log -n 1 --pretty=format:%h -- 类所在文件路径获取该文件的最新Git提交哈希作为类版本标识，同步记录提交时间、全局包版本等扩展信息
• 所有信息自动写入项目内的_version_meta.py文件，格式示例如下：

# 自动生成文件，禁止手动修改
TRANSFORMER_VERSIONS = {
    "your.module.path.YourCustomTransformer": {
        "class_version": "a1b2c3d",
        "git_commit_time": "2024-05-20T14:23:12",
        "package_version": "2.1.0.dev3+a1b2c3d"
    },
    # 其余Transformer类的版本信息自动追加
}

该文件会随代码一起打包到发布包中，开发阶段无需提交到Git仓库。

2. 运行时自动注入版本属性 #

通过__init_subclass__特性实现版本属性的自动绑定，无需每个Transformer子类手动加代码：

• 实现一个继承自SparkML Transformer的通用基类，所有自定义Transformer统一继承该基类
• 基类中自动读取_version_meta.py的元数据，绑定为类属性，代码示例如下：

from pyspark.ml import Transformer
from ._version_meta import TRANSFORMER_VERSIONS
from . import __version__ # 包层面的版本号作为兜底

class VersionedTransformer(Transformer):
    """带自动版本追踪的Transformer基类"""
    class_version: str
    version_meta: dict

    def __init_subclass__(cls, **kwargs):
        super().__init_subclass__(**kwargs)
        class_fullname = f"{cls.__module__}.{cls.__name__}"
        cls.version_meta = TRANSFORMER_VERSIONS.get(
            class_fullname,
            {"class_version": "unknown", "package_version": __version__}
        )
        cls.class_version = cls.version_meta["class_version"]

3. 监控埋点采集 #

直接在基类的transform方法中统一加监控埋点，所有子类自动生效：

def transform(self, dataset):
    # 监控上报逻辑，可对接你现有的监控系统
    monitor_logger.info(
        "transformer_execution",
        extra={
            "task_id": get_current_task_id(),
            "transformer_class": self.__class__.__name__,
            "class_version": self.class_version,
            **self.version_meta
        }
    )
    return super().transform(dataset)

运行时也可以直接通过YourTransformer.class_version或者transformer_instance.class_version读取对应类的版本信息。

方案优势 #

• 完全符合Python开发规范，无黑魔法操作，兼容SparkML的序列化/反序列化逻辑，不会影响模型的保存与加载
• 不侵入开发流程，开发人员无需修改Git提交逻辑，也不需要手动维护版本号
• 版本精度满足要求：类版本基于对应文件的最新提交哈希生成，只要类相关代码变更，版本号就会同步更新
• 可追溯性强：类版本与Git提交一一对应，满足合规审计、效果复盘的需求

内容的提问来源于stack exchange，提问作者RndmSymbl