PyTorch：使用torch.randperm随机子采样损失张量遇报错求解决

我来一步步帮你排查和解决这个问题，你的错误主要出在索引方式错误和没有同步子采样预测张量这两个关键点上：

1. 先修正你的索引错误 #

你写的idx[0, sample_size]是完全错误的——torch.randperm(target.shape[0])返回的是一维张量（长度等于batch size），二维索引[0, sample_size]不仅会导致索引张量的维度异常，还取不到你想要的前sample_size个样本。正确的写法应该是用切片idx[:sample_size]来选取前sample_size个随机排列的索引。

2. 核心问题：只子采样了target，没同步子采样prediction #

这是导致反向传播维度错误的根本原因！你只对target做了子采样，但prediction还是保持原来的batch size（比如原先的N），而子采样后的target长度变成了sample_size。当你用F.nll_loss(prediction, target.view(-1))计算损失时，PyTorch会尝试将target的维度扩展到和prediction匹配，这就出现了你看到的expanded size (12) must match existing size (217456)的维度不匹配错误。

3. 正确的解决方案 #

方案一：用randperm+index_select（适合需要打乱全部样本后取前n个的场景） #

# 假设你的采样大小是sample_size
sample_size = 256

# 1. 生成随机排列的索引，直接匹配target的设备（PyTorch 0.4+已合并Tensor和Variable，无需手动包装）
idx = torch.randperm(target.size(0)).to(target.device)
# 2. 选取前sample_size个索引
selected_idx = idx[:sample_size]

# 3. 同步子采样prediction和target！这一步必须同时做
pred_subsampled = prediction.index_select(0, selected_idx)
target_subsampled = target.index_select(0, selected_idx)

# 4. 计算损失（确保两者的batch size完全一致）
loss = F.nll_loss(pred_subsampled, target_subsampled.view(-1))
loss.backward()

方案二：用torch.randint直接生成随机索引（更高效，适合大batch size下采样少部分样本） #

如果你不需要打乱全部样本，只是随机选sample_size个样本，用torch.randint更高效：

sample_size = 256

# 直接生成sample_size个0到target.shape[0]-1之间的随机索引，自动匹配设备
idx = torch.randint(0, target.size(0), (sample_size,), device=target.device)

# 用高级索引直接子采样，代码更简洁
pred_subsampled = prediction[idx]
target_subsampled = target[idx]

# 计算损失
loss = F.nll_loss(pred_subsampled, target_subsampled.view(-1))
loss.backward()

额外说明：关于Variable的问题 #

在PyTorch 0.4及以后的版本，Variable已经和Tensor合并，不需要再用Variable()包装张量——只要张量的requires_grad属性为True（模型输出的prediction默认是True），就可以正常参与反向传播。如果你用的是非常旧的PyTorch版本，只需要把selected_idx包装成Variable并移到对应设备即可：

selected_idx = Variable(idx[:sample_size]).cuda()  # 仅旧版本需要

内容的提问来源于stack exchange，提问作者mcExchange