黑白人脸图像修复模型破损区域全黑填充问题排查

核心诱因分析 #

从破损区域全黑填充的现象来看，本质是模型未学到破损区域的有效修复特征，常见问题集中在以下几类：

1. 数据预处理与加载错误 #

• 掩码逻辑倒置：若代码中误将白色破损区域当成保留区域，模型会认为该区域无需生成，直接输出黑块填充。
• 归一化不匹配：AOT-GAN默认输入范围是[-1,1]，若你将单通道黑白图像按[0,1]归一化，会导致模型无法正确提取特征。
• 数据配对失效：破损图像、掩码、完整人脸三者未一一对应，模型学习的修复目标与输入错位，自然无法生成有效内容。

2. 损失函数配置问题 #

• 重建损失无掩码约束：若计算重建损失时未用掩码限定只惩罚破损区域，模型会优先保证非破损区域的精度，对破损区域无生成压力，直接输出最“安全”的黑块。
• 损失权重失衡：对抗损失、感知损失权重过高，或重建损失权重过低，会让模型忽略真实修复的目标，倾向于生成无意义内容。

3. 模型输入与结构适配错误 #

• 通道数不匹配：AOT-GAN默认适配三通道图像，你改为单通道黑白图后，未同步修改生成器输入通道（需从3改为2：单通道图像+单通道掩码）、判别器输入通道（需从3改为1），导致模型无法处理单通道数据。
• 掩码输入方式错误：未将掩码与破损图像在通道维度拼接后输入模型，模型无法识别破损区域位置，只能输出默认黑块。

4. 训练过程异常 #

• 轮次不足/学习率不当：训练epoch太少模型未收敛，或学习率过高导致训练震荡、过低导致权重无法有效更新，都会让模型无法学到修复能力。
• 判别器失效：判别器未正常训练（如损失恒定为0），生成器得不到有效对抗反馈，会生成无意义的填充内容。

针对性解决步骤 #

1. 校验数据流程 #

• 验证掩码逻辑：添加可视化代码，输出破损图像 * (1-掩码) + 全黑图 * 掩码的结果，确认破损区域被正确标记为黑色。
• 统一归一化标准：将图像和掩码都归一到[-1,1]范围，示例代码：

  # 单通道黑白图归一化
  img = (img / 127.5) - 1.0
  # 掩码归一化（白色破损区对应1，黑色对应-1）
  mask = (mask / 127.5) - 1.0
  

• 随机抽查数据配对：同时显示一组破损图、掩码、完整人脸，确认三者对应关系正确。

2. 修正损失函数 #

• 加入掩码加权的重建损失，只惩罚破损区域的生成误差：

  # 仅计算破损区域的重建损失
  recon_loss = torch.mean(torch.abs((gen_img - gt_img) * mask))
  # 调整损失权重（示例：重建损失权重100，对抗损失1，感知损失0.1）
  gen_loss = 100 * recon_loss + 1 * adv_loss + 0.1 * perc_loss
  

• 确认判别器输入：判别器需同时接收真实完整图和生成图，确保输入配对正确。

3. 适配模型结构 #

• 修改生成器输入通道：将第一层卷积的in_channels从3改为2（单通道图像+单通道掩码）。
• 修改判别器输入通道：将第一层卷积的in_channels从3改为1（适配单通道黑白图）。
• 正确拼接输入：在传入模型前，将破损图与掩码在通道维度拼接：

  model_input = torch.cat([damaged_img, mask], dim=1)  # dim=1为通道维度
  

4. 优化训练过程 #

• 监控损失曲线：若损失无波动或异常，调整学习率（如从1e-4降至1e-5）。
• 增加训练轮次：建议训练200-300epoch，观察修复效果是否逐步提升。
• 验证判别器有效性：每隔若干epoch，用判别器分别对真实图和生成图打分，确保真实图得分接近1、生成图得分接近0。

测试阶段验证 #

修改后先可视化模型输入（破损图+掩码），确认输入正确；再检查模型权重加载是否为训练后的权重，而非初始权重。

内容的提问来源于stack exchange，提问作者student