TensorFlow.js迁移学习报错：Size(28672)与shape乘积不匹配求解决

你遇到的错误Size(28672)必须匹配shape的乘积28,3072，核心原因是输入到MobileNet的图像尺寸不符合模型要求，导致模型输出的特征张量维度与KNN分类器的预期不匹配。下面详细拆解问题并给出修复方案：

错误根源 #

预训练的MobileNet模型（默认版本）对输入有严格要求：

1. 图像尺寸必须是224x224像素（这是模型训练时的标准输入尺寸）
2. 必须是3通道RGB图像（灰度图会导致通道数不足）
3. 像素值需要归一化到[-1, 1]范围

你的代码中把图像resize到了[32,32]，这会导致MobileNet输出的特征层维度发生变化，进而在调用classifier.addExample()时出现形状不匹配的错误。

修复步骤与代码调整 #

1. 修正图像预处理逻辑 #

首先修改readImage函数，确保输出符合MobileNet的输入要求：

const readImage = path => {
    const imageBuffer = fs.readFileSync(path);
    // 强制解码为3通道RGB图像，避免灰度图导致的通道数问题
    let tfimage = tfnode.node.decodeImage(imageBuffer, 3);
    
    // 将图像resize到MobileNet要求的224x224
    const resized = tf.image.resizeNearestNeighbor(tfimage, [224, 224]);
    
    // 归一化像素值到[-1, 1]，匹配MobileNet的输入规范
    const normalized = resized.toFloat().div(tf.scalar(127.5)).sub(tf.scalar(1));
    
    // 释放临时张量，避免Node.js环境下内存泄漏
    tfimage.dispose();
    resized.dispose();
    
    return normalized;
}

2. 调整特征提取逻辑 #

在使用model.infer()提取特征时，需要将模型输出的4D特征张量转换为1D特征向量，确保KNN分类器可以正确处理：

// 替换原循环内的特征提取代码
for(var i=0;i<filesPerClass.length;i++){
    for(var j=0;j<filesPerClass[i].length;j++){
        const imageSample = readImage(filesPerClass[i][j]);
        // 提取特征并转换为1D向量
        const activation = model.infer(imageSample, 'conv_preds').flatten();
        // 添加到KNN分类器
        classifier.addExample(activation, i);
        
        // 释放张量，避免内存累积
        imageSample.dispose();
        activation.dispose();
    }
}

3. 优化测试图像的预测逻辑 #

确保测试图像也使用相同的预处理流程：

// 替换原测试代码
const testImage = readImage('./hospitalTest.jpg');
const predictionsTest = await classifier.predictClass(testImage);
console.log('classificationTest:', predictionsTest);

// 释放测试图像张量
testImage.dispose();

4. 其他细节优化 #

• 提前加载MobileNet模型，避免在循环内重复加载
• 使用glob模块简化文件读取逻辑，替代嵌套的fs.readdirSync，让代码更简洁

完整修复后的代码 #

const tf = require('@tensorflow/tfjs'); 
const mobilenet = require('@tensorflow-models/mobilenet'); 
const tfnode = require('@tensorflow/tfjs-node'); 
const knnClassifier = require('./node_modules/@tensorflow-models/knn-classifier/dist/knn-classifier'); 
const glob = require('glob'); 
const fs = require('fs'); 

const readImage = path => {
    const imageBuffer = fs.readFileSync(path);
    let tfimage = tfnode.node.decodeImage(imageBuffer, 3);
    const resized = tf.image.resizeNearestNeighbor(tfimage, [224, 224]);
    const normalized = resized.toFloat().div(tf.scalar(127.5)).sub(tf.scalar(1));
    
    tfimage.dispose();
    resized.dispose();
    return normalized;
} 

const mainDirectory = "./img_samples/"; 

const imageClassification = async path => {
    // 提前加载模型，避免重复加载
    const model = await mobilenet.load();
    const classifier = await knnClassifier.create();

    // 初始化分类器样本
    const folders = fs.readdirSync(mainDirectory);
    for(let i=0; i<folders.length; i++){
        const folderPath = `${mainDirectory}${folders[i]}/**/*.{jpg,jpeg,png}`;
        // 使用glob批量读取图片文件
        const imagePaths = glob.sync(folderPath);
        
        for(const imgPath of imagePaths){
            const imageSample = readImage(imgPath);
            const activation = model.infer(imageSample, 'conv_preds').flatten();
            classifier.addExample(activation, i);
            
            imageSample.dispose();
            activation.dispose();
        }
    }

    // 测试分类
    const testImage = readImage('./hospitalTest.jpg');
    const predictionsTest = await classifier.predictClass(testImage);
    console.log('classificationTest:', predictionsTest);
    
    testImage.dispose();
} 

if (process.argv.length !== 3) throw new Error('Incorrect arguments: node classify.js <IMAGE_FILE>'); 
imageClassification(process.argv[2]);

为什么这样修改能解决问题？ #

• 224x224的输入尺寸让MobileNet输出标准维度的特征层，确保所有样本的特征向量长度一致，符合KNN分类器的要求
• 强制3通道解决了灰度图导致的输入形状错误
• 归一化像素值匹配MobileNet的训练数据分布，提升特征提取的准确性
• 手动dispose张量避免了Node.js环境下的内存泄漏问题

内容的提问来源于stack exchange，提问作者Ahmad Chaiban