Flutter中使用google_mlkit_image_labeling加载自定义TFLite模型维度不匹配求助

问题描述 #

使用google_mlkit_image_labeling包运行自定义TFLite模型时，触发以下错误：

The input tensor should have dimensions 1 x height x width x 3. Got 1 x 3 x 416 x 416., null)

当前使用的processImage方法代码如下：

Future<void> processImage(InputImage inputImage) async {
    if (!_canProcess) return;
    if (_isBusy) return;
    _isBusy = true;
    setState(() {
      _text = '';
    });
 
      // probably something to do here to convert image from 1 x 3 x 416 x 416 to  1 x 416 x 416 x 3 
      // but I don't know how !!!
    final labels = await _imageLabeler.processImage(inputImage);
    print(labels.toString());
    _isBusy = false;
    if (mounted) {
      setState(() {});
    }
  }

解决方案 #

问题根源是图像数据的张量格式不匹配：模型要求通道最后（HWC，1×height×width×3），但当前输入是通道优先（CHW，1×3×height×width）。需要手动调整通道顺序，以下是具体实现：

修改后的processImage方法 #

Future<void> processImage(InputImage inputImage) async {
  if (!_canProcess || _isBusy) return;
  _isBusy = true;
  setState(() => _text = '');

  try {
    // 提取原始图像数据与尺寸信息
    final imageBytes = inputImage.bytes;
    final width = inputImage.metadata?.size.width ?? 416;
    final height = inputImage.metadata?.size.height ?? 416;
    const channelCount = 3; // RGB图像通道数

    // 初始化转换后的HWC格式字节数组
    final convertedBytes = Uint8List(width * height * channelCount);
    int outputIdx = 0;

    // 遍历每个像素，重新排列通道顺序
    for (int y = 0; y < height; y++) {
      for (int x = 0; x < width; x++) {
        // 从CHW格式中取出R、G、B通道数据
        final r = imageBytes[y * width + x];
        final g = imageBytes[height * width + y * width + x];
        final b = imageBytes[2 * height * width + y * width + x];

        // 按HWC顺序写入新数组
        convertedBytes[outputIdx++] = r;
        convertedBytes[outputIdx++] = g;
        convertedBytes[outputIdx++] = b;
      }
    }

    // 创建转换后的InputImage实例
    final convertedImage = InputImage.fromBytes(
      bytes: convertedBytes,
      metadata: InputImageMetadata(
        size: Size(width.toDouble(), height.toDouble()),
        rotation: inputImage.metadata?.rotation ?? InputImageRotation.rotation0deg,
        format: InputImageFormat.rgb,
        bytesPerRow: width * channelCount,
      ),
    );

    // 使用转换后的图像执行模型推理
    final labels = await _imageLabeler.processImage(convertedImage);
    print(labels.toString());
  } catch (e) {
    print('图像转换或模型推理出错: $e');
  } finally {
    _isBusy = false;
    if (mounted) setState(() {});
  }
}

额外注意事项 #

• 如果模型要求像素值归一化（如除以255转为0-1范围），可在转换后添加归一化逻辑
• 大尺寸图像转换可能有性能损耗，建议使用compute函数将转换操作放到后台线程执行
• 若原始图像字节的存储格式与示例不同，需根据实际数据排列调整通道提取逻辑

内容的提问来源于stack exchange，提问作者RAITON