Flutter图像处理优化适配Python后端姿态估算性能提升问询

我正在开发一个项目，需要将摄像头采集的帧转换为RGB数组，作为姿态估算模型的输入来生成姿态坐标。目前已经尝试每20帧处理一次，但仍存在严重卡顿，希望优化整个流程提升性能。

当前HTTP请求处理实现 #

_controller.startImageStream(
  (CameraImage img) async {
    frameCount += 1;
    if (frameCount % 20 == 0) {
      final start = DateTime.now().millisecondsSinceEpoch;
      final rgbArray = convertYUV420toRGBArray(img);
      if (rgbArray != null) {
        final response = await http.post(url, body: jsonEncode(rgbArray), headers: {'Content-Type': 'application/json'});
        # ...

        print(response.body);
        print(response.statusCode);
      }
    }
  },
);

YUV420转RGB数组实现 #

List<List<List<int>>>? convertYUV420toRGBArray(CameraImage image) {
  try {
    final int width = image.width;
    final int height = image.height;
    final int uvRowStride = image.planes[1].bytesPerRow;
    final int? uvPixelStride = image.planes[1].bytesPerPixel;

    List<List<List<int>>> rgbList = [];

    for (int y = 0; y < height; y++) {
      List<List<int>> row = [];
      for (int x = 0; x < width; x++) {
        final int uvIndex = (uvPixelStride! * (x / 2).floor()) + (uvRowStride * (y / 2).floor());
        final int index = y * width + x;

        final int yp = image.planes[0].bytes[index];
        final int up = image.planes[1].bytes[uvIndex];
        final int vp = image.planes[2].bytes[uvIndex];

        int r = (yp + (vp * 1436 / 1024 - 179)).round().clamp(0, 255);
        int g = (yp - (up * 46549 / 131072) + 44 - (vp * 93604 / 131072) + 91).round().clamp(0, 255);
        int b = (yp + (up * 1814 / 1024 - 227)).round().clamp(0, 255);

        row.add([r, g, b]);
      }
      rgbList.add(row);
    }
    return rgbList;
  } catch (e) {
    print("Error>>> $e");
    return null;
  }
}

后端处理逻辑 #

# POST method
def handle_estimate_pose():
    frame_array = request.get_json()  # Get the image from the POST request
    np_arr = np.array(frame_array).astype(np.uint8)
    # ...

我考虑过将图像转为PNG/JPG后发送到Python后端再解码，但调研后觉得这种方式计算量可能比直接转RGB数组更大，但当前发送的RGB数组完全没有经过压缩，这可能也是性能瓶颈之一。

优化方案建议 #

• 压缩RGB数据传输：不要直接发送三维列表的JSON，改用二进制格式传输。比如将RGB数组转为单字节连续存储的Uint8List，再进行Base64编码后发送，或者直接通过HTTP发送二进制流。JSON序列化大体积三维列表的开销极大，二进制+Base64的方式能大幅减小传输体积和序列化耗时。
• 优化YUV转RGB计算效率：
  • 避免循环内的浮点运算，把公式中的分数提前转为整数运算（例如1436/1024可近似为1436 >> 10，用移位运算代替除法，或者预计算整数系数）。
  • 替换嵌套列表的存储方式，改用单维Uint8List按R-G-B顺序连续存储像素数据，减少内存分配和对象创建的开销。
  • 改用平台原生图像转换API，比如Android的RenderScript或iOS的Accelerate框架，性能远高于纯Dart循环。
• 线程隔离处理耗时操作：将YUV转RGB和HTTP请求逻辑移出摄像头帧回调的主线程，使用Dart的Isolate处理，避免阻塞UI线程导致卡顿。摄像头回调线程通常与UI相关，耗时操作会直接影响帧率。
• 降低图像分辨率：如果姿态估算模型不需要原分辨率图像，可在转换前先缩小YUV帧（比如降为原尺寸的1/2或1/4），减少转换和传输的数据量。
• 优化HTTP传输方式：
  • 控制HTTP请求并发数，避免同时发起多个请求导致队列阻塞。
  • 改用WebSocket代替HTTP POST，减少每次请求的握手开销，更适合连续帧传输场景。
• 实际验证图像编码性能：之前的调研结论可能存在偏差，建议实际测试将YUV帧转为JPG/PNG后传输的总耗时。现代设备的硬件编码速度极快，加上压缩后的数据量大幅减小，整体耗时可能比发送未压缩RGB数组更低。

内容的提问来源于stack exchange，提问作者dracule22