如何将Unity Color[]/Color32[]转换为YV12、NV21或YUV_420_888格式
基于Unity WebCamTexture Color32数据转NV21的实现方案
优先选择Color32数组作为转换输入,相比float精度的Color数组,转换速度快3-4倍,没有精度损失。
前置换算逻辑
直接采用行业通用的BT.601标准换算系数,这是绝大多数移动端摄像头、视频编码模块默认使用的换算标准,不需要额外适配自定义色彩空间。
RGB到YUV的换算规则:
- Y分量:每个像素独立计算,不需要降采样
- U/V分量:每2x2个像素块共享1组值,做水平/垂直2:1降采样
可直接落地的计算式:Y = 钳位到0-255范围(0.299f * R + 0.587f * G + 0.114f * B) * 255U = 钳位到0-255范围(-0.169f * R - 0.331f * G + 0.5f * B) * 255 + 128V = 钳位到0-255范围(0.5f * R - 0.419f * G - 0.081f * B) * 255 + 128
所有分量计算完必须做范围钳位,否则会出现不可控的色偏
为什么选NV21作为输出格式
- 内存布局最简:总占用固定为
width * height * 3 / 2字节,没有冗余padding,和Android系统摄像头直接输出的NV21格式完全一致,后续对接MediaCodec、第三方相机SDK不需要额外转格式。 - 相比YV12少了两次连续内存块的拷贝操作,相比YUV_420_888的灵活平面结构好直接逐字节操作,不需要适配不同设备的行步长差异。
具体实现步骤
- 取像素数据时直接调用
webCamTexture.GetPixels32()拿原始Color32数组,不要中间转成Color浮点数组,省一次CPU转换开销。 - 提前根据摄像头的实际宽高W、H,一次性分配好输出的byte数组,大小为
W * H * 3 / 2,避免循环内反复扩容带来的GC分配开销。 - 第一阶段填充Y平面:数组前
W*H的位置为Y值存储区,逐行逐像素遍历,对每个Color32元素,按上面的公式算出Y值存到对应索引位置,没有降采样,每个像素对应一个Y值。 - 第二阶段填充VU交错平面:从数组第
W*H个字节开始,按步长2遍历像素(也就是只取偶数行、偶数列的像素坐标),每取一个像素就算出对应的V值和U值,按「先V、后U」的顺序依次存入数组。
性能优化方案(适配Unity运行环境)
- 把浮点公式替换成整数位移版本,转换速度能提3倍以上,精度和浮点版几乎无肉眼可感的差异:
整数换算公式(全程用int类型计算,避免浮点数运算开销):
Y = 钳位到0-255范围((77*R + 150*G + 29*B) >> 8)U = 钳位到0-255范围((-43*R - 84*G + 128*B + 32768) >> 8)V = 钳位到0-255范围((128*R - 106*G - 21*B + 32768) >> 8)
- 分辨率超过720P时,转换逻辑不要放在Unity主线程跑,提前把Color32数组拷贝到托管堆,开后台线程执行转换,避免主线程掉帧。
- 循环内不要创建临时类对象,所有计算用栈上的临时值类型变量接,把GC分配压到最低。
容易踩的坑
- WebCamTexture返回的Color32内存布局是BGRA顺序,不是RGBA,算系数的时候不要把R和B的位置搞反,不然最终输出的YUV颜色通道是完全错位的。
- UV采样必须严格按步长2取偶数位置的像素,要是取了奇数位置的点,最终输出的YUV图会出现斜向的色块错位。
- 如果摄像头输出的宽高是奇数,算总内存大小的时候要把宽高向上对齐到偶数,不然最后写VU平面的时候会出现数组越界。
内容的提问来源于stack exchange,提问作者dclipca
相关产品推荐
相关产品推荐

