为何使用fitcecoc()的准确率远低于trainImageCategoryClassifier()？

你遇到的这个问题其实特别常见——这俩函数虽然都和SVM多分类沾边，但定位完全不一样：trainImageCategoryClassifier()是Matlab为图像分类场景量身封装的「一站式工具」，把很多图像特征分类的最佳实践都藏在底层了；而fitcecoc()是通用的多分类SVM框架，默认参数和处理逻辑都是面向通用数据的，直接拿来用自然达不到专门工具的效果。具体来说，主要有这几个原因：

1. 默认参数的优化程度天差地别 #

trainImageCategoryClassifier()的默认参数是专门针对图像词袋特征调过的：比如它默认用RBF核（径向基核）的SVM，这种核函数对高维、非线性的图像特征适配性极强；而fitcecoc()的默认是线性核，面对词袋这种动辄几千维的高维特征，线性核很难捕捉到图像里复杂的视觉模式，准确率自然上不去。

解决办法：手动给fitcecoc()指定RBF核，还可以让它自动优化核参数和正则化系数：

% 给fitcecoc加上RBF核和自动调参
classifier = fitcecoc(trainFeatures, trainLabels, ...
    'KernelFunction', 'rbf', ...
    'OptimizeHyperparameters', 'auto', ...
    'HyperparameterOptimizationOptions', struct('MaxObjectiveEvaluations', 50));

2. 缺少图像分类专属的预处理步骤 #

trainImageCategoryClassifier()内部悄悄帮你做了很多细节处理：比如对提取的词袋特征做L2归一化，过滤低权重的视觉词减少噪声，甚至可能对特征做降维优化。而你直接把bagOfFeatures()输出的特征喂给fitcecoc()时，这些预处理全没做，特征里的噪声和冗余会严重拖垮分类效果。

解决办法：提取特征时就加上归一化和TF-IDF加权（TF-IDF能突出对类别区分更有用的视觉词）：

% 生成带TF-IDF加权和L2归一化的特征
trainFeatures = encode(bag, trainingSet, ...
    'Weighting', 'tfidf', ...
    'Normalization', 'l2');
% 验证集特征也要用同样的方式编码
valFeatures = encode(bag, validationSet, ...
    'Weighting', 'tfidf', ...
    'Normalization', 'l2');

3. 多分类策略的细节差异 #

虽然两者底层都用了「一对一（One-vs-One）」的多分类策略，但trainImageCategoryClassifier()可能在投票机制上做了优化（比如给置信度更高的分类器投票权重更大），而fitcecoc()默认的投票是简单多数票，对图像分类这种容易出现模糊样本的场景，效果会打折扣。

解决办法：可以给fitcecoc()指定更智能的投票方式，比如基于分类器置信度的加权投票：

classifier = fitcecoc(trainFeatures, trainLabels, ...
    'KernelFunction', 'rbf', ...
    'VoteMethod', 'weighted'); % 用置信度加权投票

完整的复现代码示例 #

把上面的步骤整合起来，大概是这样：

% 1. 生成词袋模型
bag = bagOfFeatures(trainingSet);

% 2. 提取标准化的训练/验证特征
trainFeatures = encode(bag, trainingSet, 'Weighting','tfidf', 'Normalization','l2');
trainLabels = trainingSet.Labels;
valFeatures = encode(bag, validationSet, 'Weighting','tfidf', 'Normalization','l2');
valLabels = validationSet.Labels;

% 3. 训练优化后的多分类SVM
opts = struct(...
    'KernelFunction', 'rbf', ...
    'VoteMethod', 'weighted', ...
    'OptimizeHyperparameters', 'auto', ...
    'HyperparameterOptimizationOptions', struct('MaxObjectiveEvaluations', 50));
categoryClassifier = fitcecoc(trainFeatures, trainLabels, opts);

% 4. 评估准确率
predLabels = predict(categoryClassifier, valFeatures);
accuracy = mean(predLabels == valLabels);
confMatrix = confusionmat(valLabels, predLabels);

按照这个流程调整后，你应该能看到准确率接近trainImageCategoryClassifier()的水平——毕竟trainImageCategoryClassifier()本质上也是基于fitcecoc()封装的，只是帮你省了手动调参和预处理的功夫而已。

内容的提问来源于stack exchange，提问作者Thomas