Node.js中使用@tensorflow-models/mobilenet的图像解析问题

错误信息 #

throw new Error('pixels passed to tf.browser.fromPixels() must be either an ' +
          ^

Error: pixels passed to tf.browser.fromPixels() must be either an HTMLVideoElement, HTMLImageElement, HTMLCanvasElement, ImageData in browser, or OffscreenCanvas, ImageData in webworker or {data: Uint32Array, width: number, height: number}, but was Object

    at fromPixels_ (/Users/apple/Documents/flutter_projects/rest_shopping/node_modules/@tensorflow/tfjs-core/dist/tf-core.node.js:26357:15)
    at Object.fromPixels__op [as fromPixels] (/Users/apple/Documents/flutter_projects/rest_shopping/node_modules/@tensorflow/tfjs-core/dist/tf-core.node.js:5612:29)

相关代码 #

const tf = require('@tensorflow/tfjs');
const models = require('@tensorflow-models/mobilenet');

route.post("/upload-image", upload.single('image'), async (req, res) => {
  const image = req.file;
  console.log(image);

  const model = await models.load();

  const predictions = await model.classify(image);

  console.log('Predictions: ');
  console.log(predictions);
  res.send('File uploaded successfully!');
});

说明：这是供移动端调用的服务端API，并非网页端上传场景。

解决方案 #

问题根源 #

req.file是multer返回的文件对象，而MobileNet的classify方法默认仅支持浏览器环境中的HTML图像/视频/画布元素，无法直接处理服务端的文件对象，因此触发fromPixels参数错误。

修复步骤 #

1. 替换TensorFlow环境包：服务端使用@tensorflow/tfjs-node替代@tensorflow/tfjs，它针对Node.js做了优化，支持直接处理文件缓冲区。
2. 安装图片处理库：使用sharp（高性能图片处理工具）读取图片原始像素数据，转换为TensorFlow可识别的格式。
3. 修改代码逻辑：将文件缓冲区转换为张量后再传入模型分类。

安装依赖

npm install @tensorflow/tfjs-node sharp

修改后的代码

const tf = require('@tensorflow/tfjs-node');
const models = require('@tensorflow-models/mobilenet');
const sharp = require('sharp');

route.post("/upload-image", upload.single('image'), async (req, res) => {
  try {
    // 获取上传文件的缓冲区
    const imageBuffer = req.file.buffer;
    
    // 使用sharp提取图片原始像素数据及宽高信息
    const { data, info } = await sharp(imageBuffer)
      .raw() // 输出原始RGB/A像素数据
      .toBuffer({ resolveWithObject: true });
    
    // 将像素数据转换为TensorFlow 3D张量
    const imageTensor = tf.tensor3d(data, [info.height, info.width, info.channels], 'uint8');
    
    // 加载MobileNet模型
    const model = await models.load();
    
    // 执行分类
    const predictions = await model.classify(imageTensor);
    
    console.log('Predictions: ', predictions);
    
    // 手动释放张量内存，避免内存泄漏
    imageTensor.dispose();
    
    res.send('File uploaded successfully!');
  } catch (err) {
    console.error('图片处理失败:', err);
    res.status(500).send('图片处理失败');
  }
});

额外建议 #

MobileNet是通用图像分类模型，并不擅长检测裸露、暴力等违规内容。如果需要专业的内容审核，建议使用专门的NSFW（Not Safe For Work）检测模型，这类模型针对违规内容做了优化，检测准确率更高。

内容的提问来源于stack exchange，提问作者Priyesh