使用KNN、SVM等ML算法分类图像时，如何解决‘Found array with dim 4’错误？

错误原因 #

Scikit-learn中的传统机器学习模型（如KNN、SVM、决策树）仅支持二维输入数据，格式为 (样本数量, 特征数量)。而你的图像数据是四维的：(20624, 128, 128, 3)，对应(样本数, 图像高度, 图像宽度, 通道数)，不符合模型输入要求，因此抛出维度错误。

解决方案 #

以下是两种可行的解决方式：

方法1：直接扁平化图像数组 #

这是最直接的处理方式，将每个4维的图像数组展开成1维特征向量：

# 扁平化训练集和测试集
X_train_flat = X_train.reshape(X_train.shape[0], -1)  # 形状变为(20624, 49152)
X_test_flat = X_test.reshape(X_test.shape[0], -1)

# 训练SVM
from sklearn.svm import SVC
svc = SVC(kernel='linear', gamma='auto')
svc.fit(X_train_flat, y_train)

# 训练KNN
from sklearn.neighbors import KNeighborsClassifier
from sklearn import metrics
knn_clf = KNeighborsClassifier()
knn_clf.fit(X_train_flat, y_train)
y_pred = knn_clf.predict(X_test_flat)
accuracy = metrics.accuracy_score(y_test, y_pred)
print("Accuracy of KNN Classifier : %.2f" % (accuracy*100))

注意：这种方式会生成极高维度的特征（128×128×3=49152个特征），大规模数据集下训练速度会很慢，且易出现过拟合。

方法2：特征提取/降维（推荐） #

通过降维或特征提取将高维图像数据转化为低维特征，既能降低计算成本，又能提升模型性能。

子方法A：预训练CNN提取特征

利用预训练卷积神经网络（如VGG16）提取图像的高级语义特征，比原始像素更具代表性：

from tensorflow.keras.applications.vgg16 import VGG16, preprocess_input

# 加载预训练VGG16，移除顶部分类层
base_model = VGG16(weights='imagenet', include_top=False, input_shape=(128,128,3))

# 预处理图像适配VGG16要求
X_train_preprocessed = preprocess_input(X_train)
X_test_preprocessed = preprocess_input(X_test)

# 提取特征
X_train_features = base_model.predict(X_train_preprocessed)
X_test_features = base_model.predict(X_test_preprocessed)

# 扁平化特征数组
X_train_features_flat = X_train_features.reshape(X_train_features.shape[0], -1)
X_test_features_flat = X_test_features.reshape(X_test_features.shape[0], -1)

# 训练SVM
svc = SVC(kernel='linear', gamma='auto')
svc.fit(X_train_features_flat, y_train)

子方法B：PCA降维

使用主成分分析（PCA）将高维像素特征压缩到低维空间：

from sklearn.decomposition import PCA

# 初始化PCA，设定目标维度（示例为256）
pca = PCA(n_components=256, random_state=42)

# 在训练集拟合PCA并转换，用同一PCA处理测试集
X_train_pca = pca.fit_transform(X_train_flat)
X_test_pca = pca.transform(X_test_flat)

# 训练KNN
knn_clf = KNeighborsClassifier()
knn_clf.fit(X_train_pca, y_train)
y_pred = knn_clf.predict(X_test_pca)
accuracy = metrics.accuracy_score(y_test, y_pred)
print("Accuracy of KNN Classifier (after PCA) : %.2f" % (accuracy*100))

内容的提问来源于stack exchange，提问作者Mohammed Farttoos