批量训练多分类图像模型时np.eye独热编码触发内存错误求助

这个内存错误的根源很明确：np.eye(nclasses)会先创建一个15000×15000的巨型单位矩阵，哪怕你最终只需要提取对应batch的64行，这个超大矩阵也会被完整加载到内存中——单精度浮点格式下它就占了约900MB，双精度更是达到1.8GB，直接超出内存承载上限。

下面是几个高效的替代方案，完全避免创建巨型矩阵：

1. 手动构建批量独热矩阵（纯NumPy） #

只针对当前batch的样本创建独热矩阵，矩阵尺寸仅为(batch_size, nclasses)，内存占用大幅降低：

# 初始化全0的批量独热矩阵
lbls_one_hot = np.zeros((batch_size, nclasses), dtype=np.float32)
# 利用索引赋值，将对应类别位置设为1
lbls_one_hot[np.arange(batch_size), lbls] = 1

这个方法只需要为64个样本分配内存，总占用约64150004字节=3.8MB，完全不会有内存压力。

2. 用深度学习框架的内置独热编码函数（推荐） #

如果你用PyTorch、TensorFlow这类框架训练模型，它们的内置函数会直接在张量层面处理，既高效又能自动适配GPU内存：

PyTorch示例： #

import torch
# 将标签转为张量
lbls_tensor = torch.tensor(lbls, dtype=torch.long)
# 生成独热编码
lbls_one_hot = torch.nn.functional.one_hot(lbls_tensor, num_classes=nclasses)
# 如果需要转为浮点型（比如用于交叉熵损失）
lbls_one_hot = lbls_one_hot.float()

TensorFlow示例： #

import tensorflow as tf
# 生成独热编码
lbls_one_hot = tf.one_hot(lbls, depth=nclasses, dtype=tf.float32)

框架的实现会按需计算，不会预创建大矩阵，同时能无缝对接后续的模型训练流程。

3. Scikit-learn的OneHotEncoder（适合预处理阶段） #

如果是在数据预处理环节做独热编码，可以用Scikit-learn的编码器，它支持批量处理且内存效率更高：

from sklearn.preprocessing import OneHotEncoder

# 初始化编码器，指定类别范围
encoder = OneHotEncoder(categories=[np.arange(nclasses)], sparse=False)
# 先拟合所有可能的类别
encoder.fit(np.empty((0, 1)))

# 批量转换标签
lbls_one_hot = encoder.transform(lbls.reshape(-1, 1))

不过这个方法更适合离线预处理，动态训练循环中还是前两种方法更灵活。

内容的提问来源于stack exchange，提问作者AnnaR