我来帮你理清这个问题——你之前遇到的torch.gather错误是维度匹配不当导致的，而直接索引的异常也不是因为不可微分，大概率是形状兼容问题。下面给你详细的解决方法和原理：

首先解释你之前的错误原因：
你初始代码里的t是(1,4)形状的张量，调用torch.gather(t, 0, ind)时，指定的dim=0维度长度只有1，但索引张量ind里包含2、1这类大于等于1的索引值，自然触发了越界错误——dim=0上只有索引0是有效的。

方法1：用torch.gather实现（推荐，维度逻辑明确） #

torch.gather的核心逻辑是：在指定维度dim上，根据索引张量的值提取输入张量对应位置的元素，结果张量的形状和索引张量完全一致。要适配你的需求，只需要让输入张量和索引张量在非指定维度上匹配即可。

场景A：输入张量是一维（shape=(4,)） #

import torch

# 输入张量（一维，支持反向传播）
t = torch.tensor([1, 2, 3, 4], requires_grad=True)
# 索引张量
ind = torch.tensor([[0, 3], [2, 1],[1, 3], [2,3]])

# 用expand扩展输入张量到匹配索引的列数，避免内存重复占用
expanded_t = t.unsqueeze(1).expand(-1, ind.size(1))  # shape=(4,2)
result = torch.gather(expanded_t, 0, ind)

场景B：输入张量是n×1（shape=(4,1)） #

如果你的输入张量是最初描述的n×1形状：

# 输入张量（n×1形状）
t = torch.tensor([[1], [2], [3], [4]], requires_grad=True)
ind = torch.tensor([[0, 3], [2, 1],[1, 3], [2,3]])

# 扩展输入张量到匹配索引的列数，再执行gather
expanded_t = t.expand(-1, ind.size(1))  # shape=(4,2)
result = torch.gather(expanded_t, 0, ind)

场景C：输入张量是1×n（shape=(1,4)） #

如果你保留初始代码里的(1,4)形状输入，可以先将其重复到和索引张量相同的行数，再在dim=1维度上gather：

t = torch.tensor([[1, 2, 3, 4]], requires_grad=True)
ind = torch.tensor([[0, 3], [2, 1],[1, 3], [2,3]])

# 将输入张量重复4行（和索引的行数一致）
repeated_t = t.repeat(ind.size(0), 1)  # shape=(4,4)
result = torch.gather(repeated_t, 1, ind)

以上三种方式得到的result都是你期望的tensor([[1, 4], [3, 2], [2,4], [3,4]])，并且完全支持反向传播。你可以通过result.sum().backward()验证梯度是否正常计算。

关于直接索引t[ind]的问题 #

你提到直接用t[ind]在反向传播中出错，其实PyTorch的整数索引操作是支持微分的，你遇到的CUDA断言错误大概率是以下原因：

• 索引张量中存在超出输入张量维度范围的值（比如输入张量长度是4，但索引里有4或-5这类无效值）
• 输入张量和索引张量的形状不匹配导致广播异常（比如输入是(4,1)，t[ind]会得到(4,2,1)的张量，若后续代码未适配这个形状就会出错）

如果要使用直接索引，确保输入张量是一维的（shape=(4,)），此时t[ind]会直接返回(4,2)的正确结果，并且可以正常反向传播。但在复杂模型中，torch.gather的维度指定更明确，能减少形状匹配的意外。

内容的提问来源于stack exchange，提问作者Sandeep Menon