如何修复ValueError：维度小于2的张量无法计算扇入扇出？

问题根源 #

nn.init.xavier_normal_初始化方法需要计算张量的扇入扇出，这要求输入张量至少是2维（比如卷积层的4维权重、全连接层的2维权重）。但ResNet中包含1维的weight参数（比如BatchNorm层的缩放权重），遍历所有含weight的参数时会把这类1D张量传入初始化函数，导致维度不足的报错。

修复代码 #

方法1：过滤维度≥2的权重参数

直接对维度符合要求的权重执行初始化，跳过1D的BatchNorm权重：

net = resnet50(weights=None)
# 仅处理维度≥2的weight参数
for name, param in net.named_parameters():
    if 'weight' in name and param.dim() >= 2:
        nn.init.xavier_normal_(param.data)

num_classes = len(train_dataset.classes)
net.fc = nn.Linear(net.fc.in_features, num_classes)
model_ft = net.to(device)

方法2：精准定位卷积/全连接层权重

如果想更明确地只初始化卷积和全连接层的权重（这两类是Xavier初始化的适用场景），可以按层名称匹配：

net = resnet50(weights=None)
for name, param in net.named_parameters():
    # 只针对卷积层和全连接层的weight
    if ('conv' in name or 'fc' in name) and 'weight' in name:
        nn.init.xavier_normal_(param.data)

num_classes = len(train_dataset.classes)
net.fc = nn.Linear(net.fc.in_features, num_classes)
model_ft = net.to(device)

额外说明 #

• BatchNorm层的weight是单维度的缩放参数，PyTorch默认初始化为1，这个初始化是合理的，不需要用Xavier修改。
• 偏置参数保持默认的Kaiming初始化即可，无需额外调整。

内容的提问来源于stack exchange，提问作者Hemfri