Keras TensorFlow实现图像输入输出及拼图配对模型问题咨询

1. 损失函数选择错误 #

你当前的任务是输入单张拼图输出对应配对图像的图像到图像生成任务，属于像素级回归场景，并非多分类任务，使用CategoricalCrossentropy分类损失完全不符合任务要求：

• 分类损失用于计算类别概率分布的差异，你输出的是3通道像素值，用该损失会导致梯度计算完全异常，轻则训练不收敛、准确率数值无意义，重则梯度爆炸/消失出现nan输出。
• 适合该任务的损失函数可选择：
  • 基础适配款：tf.keras.losses.MeanSquaredError（均方误差，计算生成图与真实图每个像素的差值平方平均，实现简单、收敛速度快）
  • 鲁棒性更强款：tf.keras.losses.MeanAbsoluteError（平均绝对误差，对像素异常点更不敏感）
  • 追求视觉效果可在上述基础上叠加感知损失，初期调试建议先使用均方误差验证流程可行性。

2. 输出全为nan排查方向 #

• 确认resize_and_rescale预处理层输出正常，无除零、数值溢出问题，输入图像已归一化到[0,1]区间，和输出层sigmoid的输出范围匹配。
• 确认作为标签的配对图像也已归一化到[0,1]区间，若标签为0-255的原始整数，和sigmoid输出的0-1区间数值计算损失时会出现数值过大，触发梯度爆炸产生nan。
• 可适当调低Adam优化器的学习率，默认1e-3可下调到1e-4，避免梯度过大溢出。

3. 评估指标适配调整 #

分类任务使用的准确率指标对图像生成任务无任何参考意义，建议替换为峰值信噪比PSNR、结构相似性SSIM这类图像生成领域的通用评估指标，你当前得到的30%准确率数值不具备参考价值。

4. 修复后编译代码参考 #

model1.compile(
    optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4),
    loss=tf.keras.losses.MeanSquaredError(),
    metrics=[tf.keras.metrics.MeanAbsoluteError(), tf.image.psnr, tf.image.ssim]
)

内容的提问来源于stack exchange，提问作者SOUVIK GHOSH