如何在Kurento OpenCV模块中获取多路媒体流输入

Kurento官方未提供原生集成OpenCV能力的Hub模块，可通过以下两种可落地的方案实现需求：

方案1：自定义带OpenCV处理能力的Hub Filter #

• 基于Kurento官方提供的Filter扩展脚手架创建自定义模块，框架原生支持OpenCV依赖集成，无需额外做库适配
• 在Filter的process回调函数中，将每一路输入流的媒体帧转换为cv::Mat格式暂存，自行实现多路帧的时间戳同步逻辑，完成OpenCV处理后再将结果帧推送到输出端口
• 适合需要针对每一路原始流做关联处理的场景，比如多路流的跨画面目标跟踪、多视角拼接等

方案2：原生Hub模块+独立OpenCV Filter组合实现 #

• 用官方原生的Composite Hub模块完成多路流的混流处理，该模块已经封装好了帧对齐、多画面布局配置能力，无需自行处理多路流的端口管理逻辑
• 混流输出的单路媒体流直接接入自定义OpenCV Filter做后续处理，开发成本最低
• 如果业务需要先对单路流做独立OpenCV处理再合并，可先给每一路输入流串接独立的OpenCV Filter，处理完成后再统一接入Composite模块做混流输出，架构解耦度更高，后续迭代调整更灵活

开发注意事项 #

• Kurento官方开发环境已预置OpenCV依赖，仅需要在自定义模块的CMakeLists中添加对应的库链接规则即可直接调用OpenCV接口
• 多路流处理需要注意帧同步偏差控制，建议以所有输入流中的最低帧率为基准做帧对齐，避免出现处理结果跳变、画面卡顿的问题

内容的提问来源于stack exchange，提问作者vaibhav jindal