PyTorch未初始化张量为何有初始值？“未初始化”含义解析

为什么未初始化张量打印出来有数值？ #

其实这是完全正常的现象！所谓“未初始化”并不是说这块内存是空的，而是PyTorch不会主动给这块内存填充任何特定的初始值（比如全0、全1或者符合某种分布的随机数）。

当你用torch.empty()或者直接torch.Tensor()创建未初始化张量时，PyTorch只是向操作系统申请了一块对应大小的内存空间。而这块内存之前可能被其他程序使用过，里面残留着之前的数据——也就是你打印时看到的那些看起来杂乱无章的“垃圾值”。PyTorch不会去清理这些残留数据，所以直接就显示出来了。

“未初始化”到底是什么意思？ #

这里的“未初始化”核心是PyTorch不保证张量的初始值是任何可预期的数值，和那些带明确初始化逻辑的方法完全不同：

• 用torch.zeros()创建张量：PyTorch会主动把所有元素设置为0，初始值是完全确定的；
• 用torch.randn()创建张量：PyTorch会按照标准正态分布生成随机值填充，初始值是有规律的随机数；
• 用未初始化方法创建张量：PyTorch跳过了填充初始值的步骤，直接使用内存里的现有内容，所以初始值完全不可预测，全看内存当前的状态。

那为什么要使用未初始化张量呢？主要是为了节省运行时间——如果你接下来马上要给这个张量赋值（比如把计算结果写入其中），那初始化的步骤就是多余的开销，用未初始化张量就能跳过这一步，提升代码效率。

重要提醒：一定要确保在使用未初始化张量之前，已经给它赋予了有效的值！如果直接用这些残留的垃圾数据参与计算，会得到完全错误的结果，而且排查起来会很麻烦。

内容的提问来源于stack exchange，提问作者user25004