tfio.experimental.color.rgb_to_ycbcr与tf.image.rgb_to_yuv差异解析

问题背景 #

在基于TensorFlow的计算机视觉项目中，需要对比模型在不同色彩空间图像上的性能，重点关注YCbCr色彩空间（该空间比RGB更适合表达肤色）。但在数据预处理管道中遇到函数选择问题：TensorFlow I/O扩展库提供的rgb_to_ycbcr()是实验性函数，而主TensorFlow库中的rgb_to_yuv()是非实验性函数。已知YUV与YCbCr相关（前者为模拟版本，后者为数字版本），但无法明确二者关系及两个函数是否等效。

核心疑问 #

1. tfio.experimental.color.rgb_to_ycbcr与tf.image.rgb_to_yuv是否相同？若不同，原因是什么？
2. YUV与YCbCr的异同点有哪些？

测试代码 #

from PIL import Image
from io import BytesIO
import numpy as np
import cv2
import tensorflow as tf
import tensorflow_io as tfio

out = BytesIO()

with Image.open("camphoto_33463914.png") as img:
    img = img.resize((256, 256))
    img.save(out, format="png")

image_in_bytes = out.getvalue()

vector_bytes_str = str(image_in_bytes)
vector_bytes_str_enc = vector_bytes_str.encode()
bytes_np_dec = vector_bytes_str_enc.decode('unicode-escape').encode('ISO-8859-1')[2:-1]

image = cv2.cvtColor(
                cv2.imdecode(
                    np.frombuffer(bytes_np_dec, np.uint8),
                    cv2.IMREAD_COLOR,
                ).reshape(256, 256, 3),
                cv2.COLOR_BGR2RGB,
            )
image_tensor_rgb = tf.convert_to_tensor(image, dtype=tf.uint8)

image_tensor_ycbcr = tfio.experimental.color.rgb_to_ycbcr(image_tensor_rgb)

# 该函数不接受tf.uint8类型输入，需转换为float32
image_tensor_yuv = tf.image.rgb_to_yuv(tf.cast(image_tensor_rgb, dtype=tf.float32))

测试结果 #

• 亮度通道（第一维度）：除数据类型差异导致的舍入不同外，数值基本一致
• 色度通道（第二、第三维度）：数值差异明显
• 可视化表现：用matplotlib.pyplot.imshow()绘制整体图像时差异较大（推测是image_tensor_yuv的数值被强制裁剪到[0..255]范围导致），但单独绘制各通道时视觉效果完全一致

解答 #

YUV与YCbCr的异同 #

联系

二者核心设计逻辑一致：将**亮度信息（Y）与色度信息（色彩的色调、饱和度）**分离，这种分离方式不仅适合图像压缩（人眼对亮度更敏感），也更利于肤色特征的提取。YUV是模拟系统的色彩编码方案，YCbCr是数字系统对YUV的标准化落地实现。

差异

• 应用场景：YUV用于传统模拟视频传输（如PAL、NTSC制式）；YCbCr用于数字媒体领域（如JPEG图像、MPEG视频）
• 数值范围：YUV的U/V通道通常是带符号的数值（例如范围[-0.5, 0.5]或[-128, 127]）；YCbCr的Cb/Cr通道一般是无符号的数值（例如范围[0, 255]，其中128对应中性灰）
• 转换标准：不同行业标准（如ITU-R BT.601、BT.709）下的转换系数略有差异，导致具体转换后的数值细节不同

两个TensorFlow函数的差异 #

二者并不相同，核心差异来自于实现的色彩空间标准不同：

1. 色彩空间类型：
   • tf.image.rgb_to_yuv实现的是模拟YUV的转换逻辑，输入要求为[0,1]范围的float32张量，输出的U/V通道数值范围为[-0.5, 0.5]
   • tfio.experimental.color.rgb_to_ycbcr实现的是数字YCbCr的转换逻辑，支持uint8类型输入，输出的Cb/Cr通道数值范围为[0, 255]，贴合数字图像的存储特性
2. 转换公式差异：
   以常用的ITU-R BT.601标准（针对8位RGB）为例，YCbCr转换公式：

   Y = 16 + (65.738*R + 129.057*G + 25.064*B)/256
   Cb = 128 + (-37.945*R - 74.494*G + 112.439*B)/256
   Cr = 128 + (112.439*R - 94.154*G - 18.285*B)/256
   

   TensorFlow官方rgb_to_yuv的转换公式（输入为[0,1]的float）：

   Y = 0.299*R + 0.587*G + 0.114*B
   U = -0.14713*R - 0.28886*G + 0.436*B
   V = 0.615*R - 0.51499*G - 0.10001*B
   

   可见亮度通道的系数接近，但色度通道的偏移量和缩放比例完全不同，这就是测试中Cb/Cr与U/V通道数值差异明显的原因

建议 #

• 如果需要标准的YCbCr色彩空间且可接受实验性API，优先选择tfio.experimental.color.rgb_to_ycbcr
• 如果必须使用非实验性API，可以基于YCbCr的官方转换公式实现自定义转换函数，避免依赖实验性接口

内容的提问来源于stack exchange，提问作者Robin G.