基于Octave Convolution改进YOLOv3：通道配置与实现疑问求助

一、Octave卷积通道数分配核心规则 #

Octave卷积的核心是将通道拆分为高分辨率（HR）分支和低分辨率（LR）分支，用参数α控制分支比例（论文默认α=0.5，平衡速度与精度）：

• 原卷积层输入通道C_in：拆分为C_in_hr = C_in*(1-α)（HR分支）、C_in_lr = C_in*α（LR分支）
• 原卷积层输出通道C_out：拆分为C_out_hr = C_out*(1-α)（HR分支）、C_out_lr = C_out*α（LR分支）
• 所有YOLOv3原有卷积层，均按此规则拆分通道即可。

二、三种尺度特征图的Octave适配逻辑 #

YOLOv3原有的三个检测尺度，替换后每个尺度都保留HR+LR双分支：

1. 小尺度（原1024, h/32, w/32）：拆分为HR分支(512, h/32, w/32)、LR分支(512, h/64, w/64)
2. 中尺度（原512, h/16, w/16）：拆分为HR分支(256, h/16, w/16)、LR分支(256, h/32, w/32)
3. 大尺度（原256, h/8, w/8）：拆分为HR分支(128, h/8, w/8)、LR分支(128, h/16, w/16)

注：LR分支尺寸为对应HR分支的1/2，由Octave卷积内部的下采样（步长2）实现；反向传播时LR分支通过转置卷积上采样2倍与HR分支融合。

三、基于AladdinPersson代码的具体改造步骤 #

1. 替换基础卷积模块 #

将原代码中的ConvBlock替换为Octave版本，实现核心的双分支卷积操作：

import torch
import torch.nn as nn
import torch.nn.functional as F

class OctaveConv2d(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size, alpha=0.5, stride=1, padding=1, bias=False):
        super().__init__()
        self.alpha = alpha
        # 拆分输入输出通道
        self.in_hr = int(in_channels * (1 - alpha))
        self.in_lr = in_channels - self.in_hr
        self.out_hr = int(out_channels * (1 - alpha))
        self.out_lr = out_channels - self.out_hr

        # 四个分支卷积
        self.conv_hr2hr = nn.Conv2d(self.in_hr, self.out_hr, kernel_size, stride, padding, bias=bias)
        self.conv_hr2lr = nn.Conv2d(self.in_hr, self.out_lr, kernel_size, stride=2, padding=padding, bias=bias)
        self.conv_lr2hr = nn.ConvTranspose2d(self.in_lr, self.out_hr, kernel_size, stride=2, padding=padding, output_padding=1, bias=bias)
        self.conv_lr2lr = nn.Conv2d(self.in_lr, self.out_lr, kernel_size, stride, padding, bias=bias)

    def forward(self, x):
        x_hr, x_lr = x
        # 分支计算与融合
        out_hr = self.conv_hr2hr(x_hr) + self.conv_lr2hr(x_lr)
        out_lr = self.conv_lr2lr(x_lr) + F.interpolate(self.conv_hr2lr(x_hr), scale_factor=2, mode='nearest')
        return out_hr, out_lr

# 带BN和激活的Octave卷积块
class OctaveConvBlock(nn.Module):
    def __init__(self, in_channels, out_channels, alpha=0.5):
        super().__init__()
        self.conv = OctaveConv2d(in_channels, out_channels, 3, alpha=alpha)
        self.bn_hr = nn.BatchNorm2d(int(out_channels*(1-alpha)))
        self.bn_lr = nn.BatchNorm2d(int(out_channels*alpha))
        self.leaky = nn.LeakyReLU(0.1)

    def forward(self, x):
        x_hr, x_lr = self.conv(x)
        x_hr = self.leaky(self.bn_hr(x_hr))
        x_lr = self.leaky(self.bn_lr(x_lr))
        return x_hr, x_lr

2. 改造Darknet53骨干网络 #

将原Darknet53的残差块替换为Octave版本，残差连接需对应分支相加：

• 原残差块输入输出通道均为C，替换后输入输出为(C_hr, C_lr)
• 残差计算：HR分支与HR分支相加，LR分支与LR分支相加

3. 改造YOLO头部特征融合 #

原YOLOv3的上采样与融合逻辑需适配双分支结构：

• 小尺度特征处理：将HR分支上采样2倍，与中尺度HR分支拼接；LR分支保持尺寸，与中尺度LR分支拼接
• 中尺度融合后重复上述逻辑，得到大尺度双分支特征
• 检测头处理：将HR与LR分支拼接为单尺度特征，再用普通卷积输出检测结果（检测头需单尺度特征映射）

四、验证实现正确性的方法 #

• 参数量与计算量验证：α=0.5时，参数量与原模型一致，但计算量约为原模型的56%（LR分支特征图尺寸为1/4，降低计算负载）
• 输出尺寸验证：输入448×448图像时，小尺度LR分支应为(512,7,7)，中尺度LR分支为(256,14,14)，大尺度LR分支为(128,28,28)，需确保各层输出尺寸符合预期
• 损失收敛验证：跑小批量训练数据，若损失能正常下降且无NaN，说明模块逻辑无错误

内容的提问来源于stack exchange，提问作者TheCat