You need to enable JavaScript to run this app. 如何将Unity Color[]/Color32[]转换为YV12、NV21或YUV_420_888格式
优惠活动
大模型
产品
解决方案
定价
更多

如何将Unity Color[]/Color32[]转换为YV12、NV21或YUV_420_888格式

基于Unity WebCamTexture Color32数据转NV21的实现方案

优先选择Color32数组作为转换输入,相比float精度的Color数组,转换速度快3-4倍,没有精度损失。

前置换算逻辑

直接采用行业通用的BT.601标准换算系数,这是绝大多数移动端摄像头、视频编码模块默认使用的换算标准,不需要额外适配自定义色彩空间。

RGB到YUV的换算规则:

  • Y分量:每个像素独立计算,不需要降采样
  • U/V分量:每2x2个像素块共享1组值,做水平/垂直2:1降采样
    可直接落地的计算式:
  • Y = 钳位到0-255范围(0.299f * R + 0.587f * G + 0.114f * B) * 255
  • U = 钳位到0-255范围(-0.169f * R - 0.331f * G + 0.5f * B) * 255 + 128
  • V = 钳位到0-255范围(0.5f * R - 0.419f * G - 0.081f * B) * 255 + 128
    所有分量计算完必须做范围钳位,否则会出现不可控的色偏

为什么选NV21作为输出格式

  • 内存布局最简:总占用固定为 width * height * 3 / 2 字节,没有冗余padding,和Android系统摄像头直接输出的NV21格式完全一致,后续对接MediaCodec、第三方相机SDK不需要额外转格式。
  • 相比YV12少了两次连续内存块的拷贝操作,相比YUV_420_888的灵活平面结构好直接逐字节操作,不需要适配不同设备的行步长差异。

具体实现步骤

  • 取像素数据时直接调用webCamTexture.GetPixels32()拿原始Color32数组,不要中间转成Color浮点数组,省一次CPU转换开销。
  • 提前根据摄像头的实际宽高W、H,一次性分配好输出的byte数组,大小为 W * H * 3 / 2,避免循环内反复扩容带来的GC分配开销。
  • 第一阶段填充Y平面:数组前 W*H 的位置为Y值存储区,逐行逐像素遍历,对每个Color32元素,按上面的公式算出Y值存到对应索引位置,没有降采样,每个像素对应一个Y值。
  • 第二阶段填充VU交错平面:从数组第W*H个字节开始,按步长2遍历像素(也就是只取偶数行、偶数列的像素坐标),每取一个像素就算出对应的V值和U值,按「先V、后U」的顺序依次存入数组。

性能优化方案(适配Unity运行环境)

  • 把浮点公式替换成整数位移版本,转换速度能提3倍以上,精度和浮点版几乎无肉眼可感的差异:

    整数换算公式(全程用int类型计算,避免浮点数运算开销):

    • Y = 钳位到0-255范围((77*R + 150*G + 29*B) >> 8)
    • U = 钳位到0-255范围((-43*R - 84*G + 128*B + 32768) >> 8)
    • V = 钳位到0-255范围((128*R - 106*G - 21*B + 32768) >> 8)
  • 分辨率超过720P时,转换逻辑不要放在Unity主线程跑,提前把Color32数组拷贝到托管堆,开后台线程执行转换,避免主线程掉帧。
  • 循环内不要创建临时类对象,所有计算用栈上的临时值类型变量接,把GC分配压到最低。

容易踩的坑

  • WebCamTexture返回的Color32内存布局是BGRA顺序,不是RGBA,算系数的时候不要把R和B的位置搞反,不然最终输出的YUV颜色通道是完全错位的。
  • UV采样必须严格按步长2取偶数位置的像素,要是取了奇数位置的点,最终输出的YUV图会出现斜向的色块错位。
  • 如果摄像头输出的宽高是奇数,算总内存大小的时候要把宽高向上对齐到偶数,不然最后写VU平面的时候会出现数组越界。

内容的提问来源于stack exchange,提问作者dclipca

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 11:24:04