如何解决车辆阴影生成时GAN输出阴影应用到原图出现的像素间隙问题

问题根因 #

车辆与阴影边界间隙问题核心来自两个环节的误差：一是小尺寸阴影生成结果的边界信息丢失，二是小尺寸掩码上采样到原始尺寸时的边缘错位、硬插值导致的衔接断层。

优化步骤 #

1. 小尺寸阴影掩码提取优化 #

• 计算768×512尺寸下无阴影输入图与带阴影输出图的像素差，得到初始阴影软掩码，保留0-1范围的透明度信息，不做硬二值化处理。
• 对初始掩码使用3×3圆形卷积核执行1次形态学膨胀，填补小尺寸下天然存在的边界像素缺失。

2. 掩码上采样逻辑优化 #

• 将处理完成的小尺寸阴影掩码上采样到1024×768原始尺寸时，替换最近邻插值为双三次插值或Lanczos插值，最大程度保留边缘平滑度，避免硬边错位。
• 上采样完成后，对掩码做1像素半径的高斯模糊，进一步软化边界过渡。

3. 掩码与车辆轮廓对齐 #

• 利用原始1024×768无阴影图的第4通道（前景alpha通道）做掩码裁剪：将车辆轮廓范围内的阴影掩码值置0，确保阴影不会覆盖车辆本体，同时让阴影边界与车辆轮廓自动贴合，直接消除边界间隙。

4. 图像融合逻辑优化 #

• 融合时使用软掩码加权计算，参考公式：
  最终像素值 = 原始无阴影像素值 * (1 - 阴影掩码透明度) + 预设阴影RGB值 * 阴影掩码透明度
  预设阴影RGB值可从小尺寸生成结果的阴影区域取平均值，融合效果更自然。

相关素材 #

• 原始输入图像(1024, 768, 4)
• resize后输入图像(768, 512, 4)
• resize后输出图像(768, 512, 4)

内容的提问来源于stack exchange，提问作者Vishal T