如何将CameraX的ImageProxy输入TensorFlow Lite模型及推理输出固定问题排查

问题排查及解决步骤 #

1. 优先修复代码中的显性错误 #

你当前声明的像素存储数组长度错误：

// 错误写法：getPixels返回的每个像素对应1个int值，总长度为宽*高，不需要乘以3
// int pixelVals[] = new int[480*270*3];
// 修正后写法
int pixelVals[] = new int[480*270];

原代码数组长度超标，取像素时后半段读到的都是数组默认的0值，这是你观察到buffer数据变化但输出固定的核心诱因之一。

2. 修正ByteBuffer配置 #

TFLite要求输入ByteBuffer使用小端字节序，你当前没有配置字节序，会导致浮点值存储顺序和模型要求不匹配：

// 建议用allocateDirect减少内存拷贝，必须配置字节序
ByteBuffer buffer = ByteBuffer.allocateDirect(3*270*480*4);
buffer.order(ByteOrder.nativeOrder());

3. 对齐预处理逻辑和模型训练规则 #

• 确认模型输入尺寸是否为270*480，如果尺寸不匹配需要先把Bitmap缩放到对应尺寸再做处理
• 确认模型输入通道顺序：你当前用的是RGB顺序，如果训练模型时用的是BGR顺序，需要调换red和blue的赋值顺序
• 确认归一化规则：你当前用的是除以256.f，如果训练时用的是除以255.f、或者减均值除方差的归一化逻辑，需要完全和训练规则对齐
• 补全旋转处理：你当前忽略了rotationDegrees参数，相机返回的原始图像存在旋转的情况下，转换出来的Bitmap和训练数据分布完全不一致，也会导致输出固定，需要根据旋转角度对Bitmap做旋转后再处理。

4. 验证图像转换正确性 #

可以把转换后的Bitmap保存到本地，将保存的图片放到PC端的Python测试脚本中运行，看输出是否和手机端输出一致：

• 若一致说明是预处理逻辑的问题，继续排查前3步的细节
• 若不一致说明是TFLite初始化或调用逻辑的问题，继续排查下一步。

5. 检查TFLite初始化配置 #

• 确认你加载的tflite文件和PC端测试的是同一个版本，没有误放旧模型
• 如果你使用的是量化模型，需要将当前的浮点输入逻辑替换为uint8输入逻辑
• 确认TfliteInterpreter初始化时没有配置错误的参数，比如错误开启NNAPI导致模型运行异常。

内容的提问来源于stack exchange，提问作者J K