使用MediaCodec低流量播放高分辨率视频流的技术咨询

服务端无预置低分辨率源时，能否实现高分辨率视频的低分辨率拉取播放？ #

常规场景下做不到拉取阶段就降分辨率省流量。
目前绝大多数网络视频源用的都是非分层编码的H.264/H.265/AV1码流，这类码流是按原始高分辨率做块划分编码的，码流数据和整帧分辨率强绑定，要是缺了任意对应编码块的数据，直接会出现帧损坏、花屏、解码失败的问题，根本没法只拉部分数据就解出低分辨率画面。
你当然可以把完整高分辨率码流全部下载完，用MediaCodec解码成原始YUV帧之后，通过OpenGL、SurfaceTexture做缩放，渲染成小尺寸的低分辨率画面，但这个操作只是渲染出来的画面变小了，下载消耗的流量和直接播原高分辨率流完全没有区别，根本达不到省流量的目的。
只有一种例外：如果服务端输出的是SVC可分层编码的码流，你可以只拉取基础分辨率层的码流数据，不用下载增强层数据就能解出低分辨率画面，但这类码流需要服务端专门做编码配置，不属于「服务端无对应低分辨率源」的场景。

能否通过降低视频帧率的方式减少流量消耗？ #

分情况，大部分端侧侧降帧率操作都省不了流量。
如果你是在端侧收到完整码流之后，主动丢帧、跳过部分帧的解码和渲染，那半毛钱流量都省不了——那些被你丢掉的帧对应的码流数据已经走完网络下载流程了，流量早就产生了。
真能靠降帧率省流量的只有两种场景：

• 拉流协议支持服务端侧帧过滤：比如RTSP协议可以在拉流协商阶段告诉服务端你要的目标帧率，让服务端直接不给你发被跳过的帧，这部分帧的数据根本不会走网络传输，才能省流量，但这需要服务端做协议适配，不符合无低规格源的前提。
• 码流本身是时域分层编码：部分SVC编码的码流会把帧分成基础时域层和增强时域层，你可以只拉基础层的帧，直接丢弃增强层的帧数据不用下载，能在不改动服务端配置的前提下实现降帧率省流量，但同样要求服务端提前做分层编码配置，普通码流不支持。

其他可落地的替代方案 #

• 主动触发服务端动态码率调整：如果你用的是WebRTC、带带宽自适应的HTTP-FLV/QUIC拉流协议，可以端侧主动给服务端上报极低的预估可用带宽，触发服务端的实时码率自适应逻辑。大部分服务端的实时转码模块不需要提前预置低分辨率档位，收到低带宽反馈后会自动提高编码压缩比、输出低码率流，部分支持动态分辨率的编码模块还会直接实时降低编码分辨率，能明显降低流量消耗。
• 非实时场景只拉关键帧播放：如果是点播、监控预览这类对流畅度要求不高的场景，可以在解析媒体文件索引拿到帧映射关系后，只下载I帧（关键帧）对应的数据段，直接跳过P帧、B帧的数据下载，最终渲染出来的是和关键帧间隔一致的低帧率画面（通常1~2秒1帧），能省掉70%以上的流量。
• 边缘节点实时转码：不用改动自己源站的转码配置，拉流时把请求指向边缘计算节点，由边缘节点实时拉取源站的高分辨率流，实时转成你需要的低分辨率、低码率流再返回给端侧，端侧只需要改下拉流地址，原有MediaCodec的解码逻辑完全不用动，是改造成本最低的方案。

注意：不要尝试在编码域对普通非分层码流做裁剪、缩放操作，编码后的视频数据必须完整解码成原始像素数据才能做分辨率调整，这类操作不仅省不了流量，还会直接导致码流损坏无法播放。

内容的提问来源于stack exchange，提问作者Moshe