Google MLKit人像分割模型处理耗时过长问题咨询

我使用Google MLKit Android SDK进行人像分割，按照官方教程采用最新API版本com.google.mlkit:segmentation-selfie:16.0.0-beta4编写了代码。我的设备是三星S10+，GPU性能良好，官方MLKit相机分割应用能以25-30fps流畅运行，但我自行计算模型处理时间时，发现仅模型返回结果就耗时近100ms，加上后续掩码处理根本达不到实时处理要求。我有两个问题：

1. 我计算分割处理时间的方式是否正确？
2. 有没有进一步优化处理速度的技巧或方法，哪怕以降低分割质量为代价？

我的代码如下：

SelfieSegmenterOptions options =
        new SelfieSegmenterOptions.Builder()
                .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE)
                .build();
Segmenter segmenter;
segmenter = Segmentation.getClient(options);


InputImage image;
    image = InputImage.fromBitmap(imageBitmap, Surface.ROTATION_0);

long startTime = System.nanoTime();

Task<SegmentationMask> result =
        segmenter.process(image)
                .addOnSuccessListener(
                        new OnSuccessListener<SegmentationMask>() {
                            @Override
                            public void onSuccess(SegmentationMask segmentationMask) {
                                // Task completed successfully

                                long endTime = System.nanoTime();
                                String time = "Time: "+(endTime - startTime)/1000000f +" ms";
                                timeTextView.setText(time);

                                ByteBuffer mask = segmentationMask.getBuffer();
                                int maskWidth = segmentationMask.getWidth();
                                int maskHeight = segmentationMask.getHeight();

                                // the rest of code...mask processing and making it pink
                            }
                        })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                            }
                        });
}

问题1：处理时间计算是否正确？ #

你的计时方式不准确。因为segmenter.process()是异步执行的，startTime记录的是主线程发起任务的时间，但任务可能会在后台队列排队等待调度，这段等待时间也被计入了总耗时，无法真实反映模型的实际处理速度。

另外，timeTextView.setText(time)是主线程的UI操作，这部分耗时也会被混在计时结果里，进一步干扰数据准确性。

优化计时的方法：

• 多次测试取平均值：连续运行10-20次分割任务，去掉最高和最低值后取平均，减少偶然因素的影响
• 调整计时起点：在Bitmap完全准备好、即将传入process()前再记录startTime，避免包含帧捕获、Bitmap转换等前置操作的耗时
• 分离UI操作：把endTime的计算和UI更新分开，只统计从调用process()到onSuccess回调触发前的纯模型处理时间

问题2：优化处理速度的技巧 #

1. 强制启用硬件加速 #

MLKit默认会自动选择硬件，但可以手动指定优先使用GPU，避免 fallback 到CPU（CPU处理速度远慢于GPU）：

SelfieSegmenterOptions options = new SelfieSegmenterOptions.Builder()
        .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE)
        .setHardwareAccelerationEnabled(true)
        .build();

注意：部分设备可能存在GPU兼容性问题，建议添加CPU fallback的异常处理逻辑。

2. 启用低延迟（低精度）模式 #

直接开启低延迟模式，以牺牲部分分割精度为代价换取更快的处理速度：

SelfieSegmenterOptions options = new SelfieSegmenterOptions.Builder()
        .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE)
        .enableLowLatencyMode(true)
        .build();

3. 降低输入图像分辨率 #

模型处理时间与图像分辨率正相关，你可以将输入Bitmap缩小到720p甚至更低（比如480p），处理完成后再将掩码放大回原尺寸。虽然会损失一点细节，但能大幅提升处理速度。

4. 优化帧处理流水线 #

• 将Bitmap转换、预处理等操作放到后台线程，避免阻塞主线程
• 流模式下不要频繁创建Segmenter实例，复用同一个实例能利用MLKit的缓存优化
• 将onSuccess中的掩码处理逻辑移到单独的后台线程，避免阻塞后续帧的处理调度

5. 检查依赖与设备配置 #

• 尽量使用稳定版依赖，beta版本可能存在未优化的性能问题
• 通过MLKit的日志查看硬件加速是否正常启用，确认三星S10+的GPU被正确识别

内容的提问来源于stack exchange，提问作者angel_30