加载含PReLU的Keras模型时出现ValueError变量不匹配问题求助

报错信息 #

ValueError: Layer 'p_re_lu' expected 1 variables, but received 0 variables during loading. Expected: ['dense_2/p_re_lu/alpha:0']

问题原因 #

你在模型构建时存在两个核心问题：

• 创建了单个PReLU实例并重复传给多个Dense层的activation参数，导致这些层强制共享同一个可训练参数alpha，Keras在保存/加载共享层时会出现变量映射冲突。
• PReLU是带有可训练参数的层，不能直接作为Dense层的activation参数传入——activation参数仅适用于无状态的激活函数（比如sigmoid、relu）或无参数的激活层（比如LeakyReLU，它的alpha是固定超参数而非可训练参数），而PReLU的alpha需要随训练更新，必须作为独立层加入模型结构。

解决方案 #

修改模型构建逻辑，将PReLU作为独立层添加到Sequential序列中，每个需要PReLU激活的Dense层后单独配置PReLU层（推荐每个PReLU使用独立实例，避免意外的参数共享）。

修改后的代码示例 #

import numpy as np
import tensorflow as tf
from tensorflow import keras
from keras import callbacks
import pandas as pd
from sklearn.model_selection import train_test_split

def create_train_model(epoch):
    data = pd.read_csv('data/merge3')
    labels = data.pop('label').to_numpy()
    features = data.to_numpy()
    x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.1)

    output_bias = tf.keras.initializers.Constant(-0.89)

    model = keras.Sequential([
        keras.layers.InputLayer(input_shape=(8,)),
        keras.layers.Dense(16),
        keras.layers.LeakyReLU(),
        keras.layers.Dense(64),
        keras.layers.PReLU(),
        keras.layers.Dense(64),
        keras.layers.PReLU(),
        keras.layers.Dense(64),
        keras.layers.PReLU(),
        keras.layers.Dropout(.2),
        keras.layers.Dense(192),
        keras.layers.LeakyReLU(),
        keras.layers.Dense(64),
        keras.layers.LeakyReLU(),
        keras.layers.Dense(64),
        keras.layers.PReLU(),
        keras.layers.Dense(64),
        keras.layers.PReLU(),
        keras.layers.Dense(12),
        keras.layers.LeakyReLU(),
        keras.layers.Dense(1, activation='sigmoid', bias_initializer=output_bias),
    ])

    model.compile(optimizer='adam',
                loss='binary_crossentropy',
                metrics=['accuracy'])
    earlystopping = callbacks.EarlyStopping(monitor="accuracy",
                                            mode="max", patience=30000,
                                            restore_best_weights=True, start_from_epoch=100000)

    history = model.fit(x_train, y_train, epochs=epoch, batch_size=12288, callbacks=[earlystopping])

    test_loss, test_accuracy = model.evaluate(x_test, y_test)
    print('Test accuracy:', test_accuracy)

    try:
        model.save('models/29_2144.keras')
    except:
        model.save('exception.keras')
    return model

def load_model(path):
    return tf.keras.models.load_model(path)

# 先重新训练并保存模型，再执行加载
# model = create_train_model(...)
model = load_model('models/29_2144.keras')

补充说明 #

• 将PReLU作为独立层添加后，每个PReLU的alpha参数会被Keras正确标记为独立可训练变量，保存和加载时不会出现变量缺失或不匹配的问题。
• LeakyReLU因无训练参数，既可以作为Dense的activation参数，也可以作为独立层使用，这里统一用独立层写法保持代码一致性。

内容的提问来源于stack exchange，提问作者panda