开发GStreamer插件调整分辨率,更换全高清缓冲区后输出仍为640x480
问题核心根源
GStreamer 的媒体流元信息(分辨率、像素格式、行步长)由Pad端的*Caps(能力协商结果)*决定,与单个GstBuffer的内存大小无直接绑定关系。仅替换buffer内部的内存载荷,不会改变下游元素对视频流的解析参数,下游会持续按照入流协商的480x640 UYVY规格解读内存数据,无法识别你已经扩容的内存空间,自然输出还是原本的低分辨率规格。
现有实现的具体逻辑缺陷
- 无Caps更新流程:未主动向srcpad推送1920x1080 UYVY的Caps协商结果,下游始终沿用初始的480x640分辨率解析参数
- 拷贝偏移计算错误:逐行拷贝时,新缓冲区的行偏移累加值没有匹配1080p UYVY的行步长(19202=3840字节/行),仅按6402=1280字节累加,导致摄像头数据被挤在新缓冲区的极小一块连续内存区,剩余内存为未初始化的随机值
- 内存映射时序混乱:在执行
gst_buffer_replace_all_memory替换buffer内存前,就已经将旧buffer映射为读写状态,替换完成后才对已失效的旧内存执行解映射,存在内存访问逻辑错误 - 新缓冲区未做初始化:分配完1080p大小的内存后,未对非摄像头叠加区域的内存做填充,会产生随机花屏
修正实现要点
- 前置完成Caps协商:在插件初始化或接收入流Caps阶段,主动为srcpad设置匹配的出流Caps(视频格式UYVY、分辨率1920x1080),完成上下游能力匹配,通知下游更新解析参数
- 调整拷贝偏移逻辑:逐行拷贝摄像头数据时,新缓冲区的目标位置需基于1080p的行步长计算。例如从新缓冲区内存起始位置开始,每拷贝完1行1280字节的摄像头数据,将目标偏移累加3840字节,确保摄像头画面逐行落在高清帧的顶部对应位置
- 初始化新缓冲区背景:分配完内存后,先将整块内存按需求填充为固定背景色(如UYVY格式下的纯黑值),再执行摄像头数据的叠加拷贝
- 理顺内存映射顺序:先解映射入流buffer的旧内存,再执行buffer的内存替换操作,避免对已释放内存做无效映射
核心逻辑修正参考片段:
GstMapInfo in_map; // 提前映射入流buffer的摄像头数据,完成读取后立即解映射 gst_buffer_map(buf, &in_map, GST_MAP_READ); guchar *in_data = in_map.data; // 分配1080p UYVY大小的新内存 GstMemory *out_mem = gst_allocator_alloc(NULL, 4147200, NULL); GstMapInfo out_map; gst_memory_map(out_mem, &out_map, GST_MAP_WRITE); // 先填充全帧背景(UYVY格式纯黑对应Y=16, U/V=128) memset(out_map.data, 0x80, 4147200); for (int i = 0; i < 1080; i += 2) { memset(out_map.data + i * 3840, 0x10, 3840); } // 逐行叠加摄像头数据到高清帧顶部 for (int i = 0; i < 480; i++) { memcpy( out_map.data + i * 3840, // 高清帧第i行的起始位置(行步长3840字节) in_data + i * 1280, // 摄像头帧第i行的起始位置(行步长1280字节) 1280 // 拷贝整行摄像头数据 ); } // 解映射所有内存 gst_memory_unmap(out_mem, &out_map); gst_buffer_unmap(buf, &in_map); // 替换buffer内存,并设置正确的出流Caps gst_buffer_replace_all_memory(buf, out_mem); gst_pad_set_caps(filter->srcpad, out_caps); return gst_pad_push(filter->srcpad, buf);
内容的提问来源于stack exchange,提问作者vkumar
相关产品推荐
相关产品推荐

