Android中TensorFlow Lite对象检测ByteBuffer尺寸不匹配问题求助

问题根源与公式含义 #

首先明确尺寸差异的核心原因：

• 公式中的3：对应每个像素占3字节，这是因为TensorImage.fromBitmap()默认会把灰度Bitmap转换为RGB三通道格式（R/G/B各占1字节），总字节数为24*24*3=1728，和你打印的ByteBuffer尺寸完全一致。
• 公式中的4：对应FLOAT32类型每个数值占4字节，你的模型要求输入是[1,24,24,1]的FLOAT32张量，总字节数为1*24*24*1*4=2304，这正是模型预期的缓冲区大小。

简言之：你当前传入的是8位三通道的图像字节数据，而模型需要的是32位单通道的浮点数据，两者尺寸自然不匹配。

解决方案 #

以下提供两种可行的修复方式：

方式一：手动转换为FLOAT32单通道缓冲区

直接遍历灰度图像素，将其转换为FLOAT32格式并写入符合要求的ByteBuffer：

// 缩放为模型要求的24x24尺寸
val resized = Bitmap.createScaledBitmap(bitmap, 24, 24, true)

// 分配模型所需的缓冲区：24*24*1*4=2304字节（每个FLOAT32占4字节）
val byteBuffer = ByteBuffer.allocateDirect(2304)
byteBuffer.order(ByteOrder.nativeOrder())

// 遍历像素，转换为归一化的浮点值并写入缓冲区
for (y in 0 until 24) {
    for (x in 0 until 24) {
        val pixel = resized.getPixel(x, y)
        // 提取灰度值（灰度图的R/G/B值相同），归一化到0-1范围（根据模型训练时的预处理调整）
        val grayValue = Color.red(pixel) / 255.0f
        byteBuffer.putFloat(grayValue)
    }
}
byteBuffer.rewind() // 将缓冲区指针重置到起始位置

// 构建模型输入并加载缓冲区
val inputFeature0 = TensorBuffer.createFixedSize(intArrayOf(1, 24, 24, 1), DataType.FLOAT32)
inputFeature0.loadBuffer(byteBuffer)

方式二：使用TensorFlow Lite的ImageProcessor处理

利用ImageProcessor直接将图像转换为模型要求的格式，代码更简洁：

val resized = Bitmap.createScaledBitmap(bitmap, 24, 24, true)

// 构建图像处理器，确保输出为单通道FLOAT32格式
val imageProcessor = ImageProcessor.Builder()
    .add(GrayscaleOp()) // 强制转为单通道灰度
    .add(NormalizeOp(0.0f, 255.0f)) // 归一化（根据模型训练参数调整，比如有些模型用-1到1则改为-1.0f, 1.0f）
    .build()

// 创建FLOAT32类型的TensorImage并加载处理后的图像
val tImage = TensorImage(DataType.FLOAT32)
tImage.load(resized)
val processedImage = imageProcessor.process(tImage)

// 加载缓冲区到模型输入
val inputFeature0 = TensorBuffer.createFixedSize(intArrayOf(1, 24, 24, 1), DataType.FLOAT32)
inputFeature0.loadBuffer(processedImage.buffer)

注意事项 #

• 确认模型的输入归一化规则：训练时如果将像素值归一化到[-1,1]，则需要调整NormalizeOp的参数，并同步修改像素值计算逻辑。
• 若原始图像不是灰度图，建议先转换为灰度格式再处理，减少不必要的通道转换开销。

内容的提问来源于stack exchange，提问作者Sunil