使用KerasClassifier+GridSearchCV遇ValueError:无法识别loss指标

问题原因 #

GridSearchCV的scoring参数仅支持scikit-learn内置的指标标识符（如accuracy、f1、mse），或者自定义评分器。而loss是Keras模型的损失函数名称，并非scikit-learn认可的指标标识符，直接传入会触发该错误。此外，如果在Keras模型的compile方法中把loss加入metrics参数列表，也可能导致GridSearchCV在解析指标时出错。

解决方案 #

1. 替换为scikit-learn内置指标

如果不需要监控损失，直接使用适合任务的内置指标即可，比如分类任务用accuracy，回归任务用mse：

from sklearn.model_selection import GridSearchCV
from tensorflow.keras.wrappers.scikit_learn import KerasClassifier
import tensorflow as tf

def build_model():
    model = tf.keras.Sequential([
        tf.keras.layers.Dense(64, activation='relu'),
        tf.keras.layers.Dense(10, activation='softmax')
    ])
    model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])  # 使用sklearn可识别的指标
    return model

clf = KerasClassifier(build_fn=build_model, verbose=0)
param_grid = {'batch_size': [16, 32], 'epochs': [5, 10]}

# 使用内置的accuracy作为评分指标
grid = GridSearchCV(estimator=clf, param_grid=param_grid, scoring='accuracy', cv=3)
grid.fit(X_train, y_train)

2. 自定义损失评分器

如果必须以损失作为网格搜索的评估指标，需要自定义评分函数并通过make_scorer包装：

from sklearn.metrics import make_scorer
import tensorflow as tf

# 自定义损失计算函数，根据任务类型调整损失函数
def custom_loss(y_true, y_pred):
    loss_fn = tf.keras.losses.SparseCategoricalCrossentropy()  # 分类任务示例
    # 回归任务可替换为：tf.keras.losses.MeanSquaredError()
    return loss_fn(y_true, y_pred).numpy()

# 包装评分器，设置greater_is_better=False因为损失越小越好
loss_scorer = make_scorer(custom_loss, greater_is_better=False)

# 构建模型
def build_model():
    model = tf.keras.Sequential([
        tf.keras.layers.Dense(64, activation='relu'),
        tf.keras.layers.Dense(10, activation='softmax')
    ])
    model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])
    return model

clf = KerasClassifier(build_fn=build_model, verbose=0)
param_grid = {'batch_size': [16, 32], 'epochs': [5, 10]}

# 使用自定义损失评分器
grid = GridSearchCV(estimator=clf, param_grid=param_grid, scoring=loss_scorer, cv=3)
grid.fit(X_train, y_train)

3. 排查模型compile的metrics参数

确保你的模型compile时，metrics列表中没有加入loss，因为Keras会自动跟踪损失，无需将其作为指标传入：

# 错误示例：不要把loss加入metrics
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['loss', 'accuracy'])

# 正确示例
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

内容的提问来源于stack exchange，提问作者bumbummath