如何在特征第三维通道做卷积或全连接以计算每个图像块的标量分数

API 探路者

2026-9-28

方案说明

你的核心思路没有问题，1x1卷积和全连接两种方案都可以实现需求，只需要补全输出维度的调整步骤即可：

1. 1x1卷积方案修正

你当前的卷积写法是对的，1x1卷积刚好会对每个空间位置（即13*13的每个图像块）的64维特征做线性变换，输出对应分数，只需要调整输出维度匹配你的标签形状即可：

class ADModel(nn.Module):
    def __init__(self):
        super(ADModel, self).__init__()
        self.conv = nn.Conv2d(in_channels=64, out_channels=1, kernel_size=1, padding=0)
   
    def forward(self, feature):    
        scores = self.conv(feature) # 输出形状为 (batch_size, 1, 13, 13)
        # 按需选择输出形状
        # 选项1：保留空间结构，输出 (batch_size, 13, 13)
        return scores.squeeze(1)
        # 选项2：直接展平为169个分数，输出 (batch_size, 169)
        # return scores.flatten(1)

该方案可直接复用你现有训练代码里的transpose操作，不需要调整数据预处理逻辑。

2. 全连接方案实现

全连接和1x1卷积在该场景下数学等价，实现时只需要调整特征维度顺序即可：

class ADModelFC(nn.Module):
    def __init__(self):
        super(ADModelFC, self).__init__()
        self.fc = nn.Linear(64, 1)
   
    def forward(self, feature):    
        # 输入使用原始形状的特征：(batch_size, 13, 13, 64)，不需要transpose
        feature = feature.flatten(1, 2) # 合并空间维度，形状变为 (batch_size, 169, 64)
        scores = self.fc(feature) # 输出形状为 (batch_size, 169, 1)
        return scores.squeeze(-1) # 最终输出 (batch_size, 169)

使用该方案时，训练代码中可以删除np.transpose(fe, (0, 3, 1, 2))这一步。