TensorFlow中预训练CNN调参遇两类错误的解决咨询

先来说你遇到的第一个TypeError: 无效索引问题：
scikit-learn的GridSearchCV是基于numpy数组设计的，它完全不认识TensorFlow的张量对象。当你直接把张量作为输入传给它时，它会尝试用numpy的索引方式去访问张量，而张量的索引逻辑和numpy数组不兼容，自然就触发了无效索引的错误。你把张量转成numpy数组的思路是对的，这一步必须做，但转完之后又遇到了第二个问题，接下来我们拆解。

再看第二个ValueError: 分类指标无法处理多标签指示器与多分类目标的混合：
你的标签是shape=(1000,100)的独热编码张量，这属于多分类任务的独热标签格式（每个样本对应唯一的类别，用one-hot向量表示），但GridSearchCV默认会把这种二维的标签数组当成多标签任务（每个样本可以同时属于多个类别）来处理，而你的模型是按多分类任务设计的（输出层用softmax，对应单类别预测），这就导致了指标计算时的冲突。

具体解决办法 #

1. 彻底解决数据格式问题：统一numpy数组+整数标签

把独热标签转换成整数类别索引（shape从(1000,100)变成(1000,)），这样GridSearchCV就能正确识别这是多分类任务：

import numpy as np

# 把预训练特征张量转成numpy数组
X = preprocessed_features.numpy()
# 把独热标签转成整数索引
y = np.argmax(one_hot_labels.numpy(), axis=1)

同时，调整你的Keras模型的损失函数为sparse_categorical_crossentropy（因为输入标签是整数索引，不用再用独热编码）：

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout

def create_model(dropout_rate=0.5):
    model = Sequential()
    model.add(Dense(512, activation='relu', input_shape=(2048,)))
    model.add(Dropout(dropout_rate))
    model.add(Dense(100, activation='softmax'))  # 100个类别
    model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',  # 对应整数标签
                  metrics=['accuracy'])
    return model

然后用KerasClassifier封装模型时，不用额外调整标签相关参数：

from tensorflow.keras.wrappers.scikit_learn import KerasClassifier

# TensorFlow 2.10+版本用model参数替代build_fn
model = KerasClassifier(model=create_model, verbose=0)

2. 如果坚持用独热标签：显式指定评分指标

如果你不想修改标签格式，需要让GridSearchCV知道这是多分类任务，并且使用适合独热标签的评分指标。可以用sklearn.metrics.make_scorer封装Keras的categorical_accuracy：

from sklearn.metrics import make_scorer
from tensorflow.keras.metrics import categorical_accuracy

# 自定义适合独热标签的准确率评分器
categorical_acc_scorer = make_scorer(lambda y_true, y_pred: categorical_accuracy(y_true, y_pred).numpy().mean())

# 初始化GridSearchCV时指定scoring参数
from sklearn.model_selection import GridSearchCV

param_grid = {
    'batch_size': [32, 64],
    'epochs': [10, 20],
    'dropout_rate': [0.3, 0.5]
}

grid = GridSearchCV(estimator=model, param_grid=param_grid, scoring=categorical_acc_scorer, cv=3)
grid_result = grid.fit(X, y)  # 这里y是独热编码的numpy数组

不过这种方式不如第一种直观，而且scikit-learn的部分内置指标可能还是会有兼容性问题，更推荐第一种方法。

额外注意点

• 确保你的上层CNN模型输入形状正确：因为预训练特征是shape=(1000,2048)的一维数组，所以模型的输入层应该是input_shape=(2048,)，如果要用CNN的话，需要用Conv1D而不是Conv2D，因为输入是一维特征，不是二维图像。

内容的提问来源于stack exchange，提问作者beyond_inifinity