如何搭建可输入低分辨率图像输出高分辨率图像的GAN模型？

可行性说明 #

完全可以实现，面向该场景的GAN网络通常称为超分辨率GAN（SRGAN），相比传统的双线性/双三次插值方法，SRGAN生成的高分辨率图像细节更丰富，不会出现普遍的模糊、边缘发虚问题，已经广泛应用在图像修复、老照片高清化等场景。

核心网络结构搭建 #

SRGAN的核心由生成器、判别器两个子网络组成，二者交替训练完成超分辨率能力的学习：

1. 生成器（负责生成高清图） #

生成器输入为低分辨率（LR）图像，输出对应尺寸的高分辨率（HR）图像，结构设计要点如下：

• 输入层：接受任意尺寸的3通道LR图像输入，常用输入尺寸为96×96、256×256
• 前置特征提取层：1层3×3卷积 + PReLU激活，提取图像浅层纹理、颜色特征
• 残差块堆叠：通常堆叠16个相同的残差块，每个残差块包含两层3×3卷积 + BN层 + PReLU激活，残差连接可以避免深度网络梯度消失的问题，保留原始图像的特征信息
• 上采样模块：采用2个亚像素卷积层（PixelShuffle）实现×4倍上采样，也可以根据需求调整上采样倍数，相比转置卷积不会产生棋盘格伪影
• 输出层：1层3×3卷积，输出和目标HR尺寸匹配的3通道RGB图像，例如96×96的LR输入对应输出384×384的HR图像

2. 判别器（负责鉴别高清图真假） #

判别器为二分类网络，用于判断输入的高清图是生成器生成的假图，还是数据集中的真实高清图，结构设计要点如下：

• 卷积特征提取层：堆叠8层3×3卷积，每层后接BN层 + LeakyReLU激活，通道数随层数逐次翻倍，特征图尺寸逐次缩小
• 分类输出层：将提取到的特征图展平后接2层全连接层，最后通过Sigmoid激活输出0~1的概率值，0代表输入为生成的假高清图，1代表输入为真实高清图

训练流程注意事项 #

• 数据集准备：需要配对的LR-HR图像对，真实HR图像可以直接使用公开高清数据集（如DIV2K），LR图像可以通过对HR图像做下采样、添加高斯噪声等方式生成，模拟真实场景下的低清图像特征
• 损失函数设计：不能仅使用普通GAN的对抗损失，需要额外加入内容损失，一般采用预训练VGG19网络提取生成图和真实图的特征图做MSE损失，避免生成的高清图出现细节混乱、颜色偏移的问题
• 训练顺序：每次迭代先训练判别器，将真实HR图标注为1、生成器输出的假HR图标注为0更新判别器参数；之后固定判别器参数，训练生成器最小化「对抗损失+内容损失」的总损失，更新生成器参数
• 训练轮次：在DIV2K数据集上通常训练10~20万步即可得到效果较好的超分辨率模型

简化实现代码片段（PyTorch） #

以下是核心残差块的实现示例：

import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, channels: int = 64):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn1 = nn.BatchNorm2d(channels)
        self.prelu = nn.PReLU()
        self.conv2 = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        self.bn2 = nn.BatchNorm2d(channels)
    
    def forward(self, x):
        residual = x
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.prelu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        return out + residual

内容的提问来源于stack exchange，提问作者Sinister 3665