Frechet Inception Distance(FID)是否考虑图像颜色特征?
彩色数据集与灰度数据集FID计算结果对比结论
二者计算得到的FID数值几乎不会一致,核心原因如下:
- FID的计算依赖预训练InceptionV3模型提取的图像特征,原版InceptionV3是基于RGB三通道彩色数据集训练得到的,输入彩色图像和输入灰度图(通常需将单通道重复三次模拟三通道输入)时,模型提取到的特征分布存在本质差异,计算得到的分布距离自然不相等。
- 彩色图像转灰度的过程会丢失全部颜色维度的分布信息,两组数据集本身的颜色分布差异会在灰度化后完全消失,也会导致二者的FID结果出现偏差:比如一组全红色图像、一组全绿色图像,彩色状态下计算FID数值很高,但灰度化后两类图像亮度接近,计算得到的FID会非常低。
- 若你需要评估灰度场景下的图像生成效果,需将所有参与计算的数据集统一转为灰度格式后,再使用同一个特征提取器计算FID,不可直接与彩色场景下的FID结果做对标。
内容的提问来源于stack exchange,提问作者Manveru
相关产品推荐
相关产品推荐

