如何解决Kotlin TensorFlow Lite中“ByteBuffer与形状不匹配”错误

报错日志 #

Process: com.example.qutubcomplexmonumentspredictiontensorflowlite, PID: 24696
java.lang.IllegalArgumentException: The size of byte buffer and the shape do not match.
    at org.tensorflow.lite.support.common.SupportPreconditions.checkArgument(SupportPreconditions.java:104)
    at org.tensorflow.lite.support.tensorbuffer.TensorBuffer.loadBuffer(TensorBuffer.java:309)
    at org.tensorflow.lite.support.tensorbuffer.TensorBuffer.loadBuffer(TensorBuffer.java:328)
    at com.example.qutubcomplexmonumentspredictiontensorflowlite.MainActivity.onCreate$lambda-1(MainActivity.kt:40)
    at com.example.qutubcomplexmonumentspredictiontensorflowlite.MainActivity.$r8$lambda$hODd9Y72uZ7cKE8WuAJp-ZdH6JA(MainActivity.kt)
    at com.example.qutubcomplexmonumentspredictiontensorflowlite.MainActivity$$ExternalSyntheticLambda1.onClick(D8$$SyntheticClass)
    at android.view.View.performClick(View.java:5246)
    at android.widget.TextView.performClick(TextView.java:10565)
    at com.google.android.material.button.MaterialButton.performClick(MaterialButton.java:1194)
    at android.view.View$PerformClick.run(View.java:21200)
    at android.os.Handler.handleCallback(Handler.java:739)
    at android.os.Handler.dispatchMessage(Handler.java:95)
    at android.os.Looper.loop(Looper.java:145)
    at android.app.ActivityThread.main(ActivityThread.java:6946)
    at java.lang.reflect.Method.invoke(Native Method)
    at java.lang.reflect.Method.invoke(Method.java:372)
    at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:1404)
    at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:1199)

问题分析 #

• 报错触发点：MainActivity.kt第40行调用TensorBuffer.loadBuffer时，传入的ByteBuffer字节数与模型输入形状要求不匹配。
• 模型输入规格：输入为[1, 224, 224, 3]的float32张量，总元素数为1*224*224*3=150528，每个float占4字节，因此ByteBuffer需满足150528*4=602112字节。
• 当前代码问题：直接读取图片文件的原始字节流，未按模型要求缩放图片、转换数据类型及做归一化处理，导致ByteBuffer尺寸与模型输入形状不匹配。

解决方案 #

1. 实现图片转符合要求的ByteBuffer #

将图片缩放至224x224，转换为float32类型并做归一化处理（需与模型训练时的预处理逻辑一致）：

fun bitmapToByteBuffer(bitmap: Bitmap): ByteBuffer {
    // 分配足够容量的ByteBuffer：1*224*224*3*4字节（float占4字节）
    val byteBuffer = ByteBuffer.allocateDirect(602112)
    byteBuffer.order(ByteOrder.nativeOrder())
    val intValues = IntArray(224 * 224)
    
    // 先将Bitmap缩放到224x224
    val resizedBitmap = Bitmap.createScaledBitmap(bitmap, 224, 224, true)
    resizedBitmap.getPixels(intValues, 0, resizedBitmap.width, 0, 0, resizedBitmap.width, resizedBitmap.height)
    
    var pixelIndex = 0
    for (i in 0 until 224) {
        for (j in 0 until 224) {
            val pixelValue = intValues[pixelIndex++]
            // 提取RGB通道并归一化（示例为除以255，需根据模型训练时的预处理调整）
            byteBuffer.putFloat((((pixelValue shr 16) and 0xFF) / 255.0f))
            byteBuffer.putFloat((((pixelValue shr 8) and 0xFF) / 255.0f))
            byteBuffer.putFloat(((pixelValue and 0xFF) / 255.0f))
        }
    }
    resizedBitmap.recycle()
    return byteBuffer
}

2. 修正MainActivity.kt的加载逻辑 #

替换第40行附近直接读取文件字节的代码，改为：

// 从文件获取Bitmap并转换为ByteBuffer
val imageFile = File(...) // 替换为你的图片文件路径
val bitmap = BitmapFactory.decodeFile(imageFile.absolutePath)
val inputBuffer = bitmapToByteBuffer(bitmap)
bitmap.recycle()

// 创建与模型匹配的TensorBuffer
val tensorBuffer = TensorBuffer.createFixedSize(intArrayOf(1, 224, 224, 3), DataType.FLOAT32)
tensorBuffer.loadBuffer(inputBuffer)

3. 验证数据一致性 #

• 确保TensorBuffer的形状[1,224,224,3]和数据类型FLOAT32与模型输入完全一致。
• 确认归一化逻辑与模型训练时的预处理完全相同（部分模型可能使用(像素值-均值)/标准差的方式，需对应调整）。

内容的提问来源于stack exchange，提问作者Abhimanyu Sharma