You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

PyTorch:torch.nn.functional.softmax应选择哪个维度?

如何让torch.nn.functional.softmax输出全1的张量?

嘿,这个问题挺有意思的!让我来帮你把逻辑理清楚~

首先,咱们先明确torch.nn.functional.softmax(input, dim)的核心计算规则:它会沿着指定的dim维度,把每个切片里的元素转换成(0,1)区间的数值,且该切片内所有元素的和为1。具体公式是:

softmax(x_i) = exp(x_i) / sum(exp(x_j)) (其中j遍历当前切片内的所有元素)

要让运算后每个元素都等于1,只有一种情况能满足:每个切片里只有一个元素。因为此时分子分母都是同一个exp(x),相除结果自然是1。

具体怎么做?

你只需要选择输入张量中**维度大小为1的那个dim**就行——不管它是最后一维还是其他维度。举个例子:

import torch
import torch.nn.functional as F

# 示例1:最后一维大小为1
input_1 = torch.randn(2, 3, 1)  # 形状(批量数, 特征数, 1)
output_1 = F.softmax(input_1, dim=2)  # 选择最后一维
print(output_1)  # 输出全1的张量,形状和输入一致

# 示例2:第一维大小为1
input_2 = torch.randn(1, 5, 4)  # 形状(1, 序列长度, 特征数)
output_2 = F.softmax(input_2, dim=0)  # 选择第一维
print(output_2)  # 同样输出全1的张量

你的直觉“选最后一维”其实没问题,但前提是最后一维的大小必须是1。如果其他维度的长度是1,选那个维度也能得到全1的结果。

内容的提问来源于stack exchange,提问作者Jadiel de Armas

火山引擎 最新活动