Linux下C++跨进程传递OpenCV cv::Mat的技术方案咨询

针对实时计算机视觉系统的低延迟、无额外内存拷贝需求，以下是可行的技术方案：

一、系统级标准技术（无依赖、低延迟） #

共享内存（核心无拷贝方案） #

直接利用操作系统的共享内存机制，让多进程访问同一块物理内存，完全避免内存拷贝：

• Linux平台：使用shm_open创建共享内存对象，再通过mmap将其映射到进程地址空间
• Windows平台：使用CreateFileMapping创建文件映射对象，通过MapViewOfFile映射到进程空间

具体实现步骤：

1. 计算所需共享内存大小：sizeof(cv::Mat)（元数据） + 图像像素总字节数（mat.total() * mat.elemSize()）
2. 生产者进程：
   • 将cv::Mat的元数据（rows、cols、type、step等）写入共享内存的起始区域
   • 手动构造cv::Mat对象，将其data指针指向共享内存中像素数据的起始位置（避免默认拷贝行为）
3. 消费者进程：
   • 从共享内存读取元数据
   • 构造cv::Mat对象，指定data指针为共享内存的像素区域，无需拷贝数据

配套同步机制 #

必须配合同步工具保证读写安全，避免数据竞争：

• Linux：跨进程信号量（sem_t）、跨进程互斥锁（pthread_mutex_t，需设置PTHREAD_PROCESS_SHARED属性）
• Windows：事件对象（Event）、互斥量（Mutex）

二、OpenCV原生扩展方案 #

如果系统使用GPU加速，可以利用CUDA的跨进程内存共享：

• 使用cv::cuda::GpuMat存储图像，生产者通过cudaIpcGetMemHandle获取内存句柄并传递给消费者
• 消费者通过cudaIpcOpenMemHandle映射该GPU内存，直接构造cv::cuda::GpuMat使用，全程无CPU内存拷贝，延迟极低
• 注意：所有进程必须支持CUDA，且GPU驱动版本一致

三、第三方库方案 #

ZeroMQ（ZMQ） #

通过其ipc进程间通信模式，配合共享内存实现零拷贝：

• 生产者发送cv::Mat的元数据，再通过zmq_msg_init_data接口发送共享内存的像素数据（无需拷贝）
• 消费者接收元数据后，直接映射共享内存构造Mat，避免数据拷贝

Apache Arrow #

提供跨进程零拷贝数据共享框架：

• 将cv::Mat的元数据和像素数据封装为Arrow的结构化数据格式
• 多进程通过Arrow的内存映射机制直接访问同一块内存，无需拷贝，框架自带同步机制封装

注意事项 #

• 确保cv::Mat为连续存储（通过isContinuous()判断），非连续Mat需先转为连续格式（如mat.clone()或手动构造连续内存的Mat）
• 不同进程的共享内存虚拟地址可能不同，但cv::Mat仅依赖数据的相对偏移，不影响使用

内容的提问来源于stack exchange，提问作者user1990645