如何从已训练的Spark MLP（多层感知机）模型中提取模型权重？

核心访问入口 #

Spark MLlib 中 MultilayerPerceptronClassifier 训练完成后返回的 MultilayerPerceptronClassificationModel 实例，内置公开的 weights 属性，可直接读取模型全量权重参数。
该属性返回一个稠密向量对象，将网络所有层的权重、偏置按固定规则拼接存储，是官方稳定支持的访问入口，跨Spark 2.x/3.x版本无兼容问题。

权重向量存储规则 #

拿到的长向量排列顺序和初始化模型时设置的 layers 数组严格对应，逐块存储相邻层的连接参数：

• 向量从前往后遍历每一组相邻网络层（第i层 -> 第i+1层）
• 每组参数块内，先存当前层连接下一层的权重矩阵（按行展开为一维），再存对应连接的偏置向量

举个实际拆分场景：如果网络层设置为 Array(4, 5, 2)（对应输入层4个特征、1个5节点隐藏层、2分类输出层），全量权重向量的拆分顺序为：

1. 输入层到隐藏层的权重块：共4*5=20个元素，对应4个输入特征到5个隐藏神经元的连接权重
2. 隐藏层的偏置块：共5个元素，对应5个隐藏神经元的偏置值
3. 隐藏层到输出层的权重块：共5*2=10个元素，对应5个隐藏神经元到2个输出节点的连接权重
4. 输出层的偏置块：共2个元素，对应2个输出类别的偏置值

可直接复用的拆分代码 #

以下代码逻辑对Scala、Python版本的Spark API完全通用：

import numpy as np

# 读取模型全量拼接的权重向量
full_weights = model.weights.toArray
# 记录当前拆分到向量的哪个位置
offset = 0

# 逐对遍历网络相邻层，拆分独立的权重、偏置
for layer_idx in range(len(model.layers) - 1):
    input_dim = model.layers[layer_idx]
    output_dim = model.layers[layer_idx + 1]

    # 拆分当前层连接下一层的权重矩阵
    current_weight = full_weights[offset : offset + input_dim * output_dim].reshape(input_dim, output_dim)
    offset += input_dim * output_dim

    # 拆分当前层连接下一层的偏置向量
    current_bias = full_weights[offset : offset + output_dim]
    offset += output_dim

    # 拆分完成后可自由存储、导出权重：比如存为本地文件、转成其他框架可用的格式
    print(f"第{layer_idx}层 -> 第{layer_idx+1}层 权重矩阵：\n{current_weight}")
    print(f"对应层偏置向量：\n{current_bias}")

常见踩坑提醒 #

• 跨框架迁移权重时注意形状差异：Spark 存储的权重矩阵形状为 [输入维度, 输出维度]，和PyTorch/TensorFlow默认的线性层权重形状（[输出维度, 输入维度]）相反，迁移前需要对权重矩阵做转置才能对齐
• 不要尝试访问模型内部的私有存储变量，直接使用公开的 weights 属性即可，避免内部结构调整带来的兼容问题
• 拆分权重时不要固定写死偏移量，一定要根据模型实例中存储的 layers 数组动态计算每个块的长度，避免网络结构调整后拆分错位

内容的提问来源于stack exchange，提问作者Vadim Smolyakov