如何提取CNN模型特征并用于训练Extreme Learning Machine（EML）模型？

一、从CNN中提取特征 #

你的CNN模型最后一层是二分类的sigmoid输出层，我们需要截取输出层之前的全连接层输出作为特征（比如倒数第二层的512维特征，也可以根据需求选择更早的层）。

1. 创建特征提取模型

假设你的CNN已经完成训练（若未训练，可先执行model.compile()和model.fit()完成训练，提取特征的逻辑不变），通过截取原模型的前N层创建特征提取器：

import tensorflow as tf

# 截取到倒数第二层（Dense(512, activation='relu')）作为特征输出
feature_extractor = tf.keras.models.Model(
    inputs=model.input,
    outputs=model.layers[-2].output  # 索引-3对应Dense(1024)，索引6对应Flatten层，可按需调整
)

2. 提取数据集特征

用特征提取器对训练集、测试集图像提取特征：

# 假设train_images、test_images是预处理好的图像数据（形状为(num_samples, 200, 200, 3)）
train_features = feature_extractor.predict(train_images, batch_size=32)
test_features = feature_extractor.predict(test_images, batch_size=32)

二、实现ELM模型并训练 #

ELM是单隐层前馈神经网络，核心是随机初始化隐层权重，通过伪逆求解输出层权重。以下是二分类场景的ELM实现：

1. ELM分类器实现

import numpy as np

class ELMClassifier:
    def __init__(self, hidden_units=1000, activation='relu'):
        self.hidden_units = hidden_units
        self.activation = activation
        self.W = None  # 输入层到隐层的权重
        self.b = None  # 隐层偏置
        self.beta = None  # 隐层到输出层的权重

    def _activate(self, x):
        if self.activation == 'relu':
            return np.maximum(x, 0)
        elif self.activation == 'sigmoid':
            return 1 / (1 + np.exp(-x))
        elif self.activation == 'tanh':
            return np.tanh(x)
        return x

    def fit(self, X, y):
        # X: 特征数据，形状为(num_samples, num_features)
        n_samples, n_features = X.shape
        # 随机初始化权重和偏置（服从正态分布）
        self.W = np.random.normal(loc=0, scale=0.1, size=(n_features, self.hidden_units))
        self.b = np.random.normal(loc=0, scale=0.1, size=(self.hidden_units,))
        # 计算隐层输出
        H = self._activate(np.dot(X, self.W) + self.b)
        # 用Moore-Penrose伪逆求解输出层权重
        self.beta = np.dot(np.linalg.pinv(H), y)

    def predict(self, X):
        H = self._activate(np.dot(X, self.W) + self.b)
        y_pred = np.dot(H, self.beta)
        # 二分类阈值判断
        return (y_pred >= 0.5).astype(int)

2. 用提取的特征训练ELM

# 可选：对特征做标准化处理，提升ELM性能
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score

scaler = StandardScaler()
train_features_scaled = scaler.fit_transform(train_features)
test_features_scaled = scaler.transform(test_features)

# 初始化并训练ELM
elm = ELMClassifier(hidden_units=2000, activation='relu')
elm.fit(train_features_scaled, train_labels)

# 预测并评估
y_pred = elm.predict(test_features_scaled)
print(f"ELM测试集准确率: {accuracy_score(test_labels, y_pred):.4f}")

关键注意事项 #

• 特征层选择：可根据任务需求选择不同层的输出作为特征，比如Flatten层输出（更底层的空间特征）、Dense(1024)输出（更抽象的语义特征），只需调整feature_extractor中的outputs=model.layers[索引].output即可。
• ELM隐层单元数：需根据特征维度和任务复杂度调整，一般越大性能越好，但会增加计算量。
• 标签格式：确保train_labels和test_labels的形状与ELM输入匹配（比如形状为(num_samples,)或(num_samples,1)）。

内容的提问来源于stack exchange，提问作者Sabbir Ahmed Shibli