创建用于独热向量的大型3D稀疏numpy数组时内存不足问题

我完全懂你遇到的内存瓶颈——用独热编码存储(50000,100,5000)的3D张量确实太夸张了，算下来每个张量要占近100GB内存，普通机器根本扛不住。下面给你几个实用的解决方案，按优先级排序：

1. 优先用「整数序列+嵌入层」替代独热编码（行业常规操作） #

这是NLP任务里最常用的优化方式，完全没必要真的存储独热张量：

• 你可以把每个时间步的词用整数索引（0到4999）存储，输入数据变成2D的(Num_samples, Time_step)，内存占用瞬间降到500001004字节=20MB，轻松搞定。
• 模型里加一个Embedding层，它会自动把整数索引转换成低维稠密向量，不仅比独热高效，还能学习词的语义信息，模型效果更好。

举个Keras的代码示例：

import numpy as np
from tensorflow.keras.layers import Embedding, LSTM

Num_samples = 50000
Time_step = 100
Vocabulary = 5000

# 生成整数序列输入（替代独热张量）
encoder_input_data = np.random.randint(0, Vocabulary, size=(Num_samples, Time_step))
decoder_input_data = np.random.randint(0, Vocabulary, size=(Num_samples, Time_step))
decoder_target_data = np.random.randint(0, Vocabulary, size=(Num_samples, Time_step))

# 模型中用Embedding层处理整数序列
encoder_embedding = Embedding(Vocabulary, 256)(encoder_input_data)
encoder_lstm = LSTM(512)(encoder_embedding)

2. 若必须保留3D稀疏结构（特殊场景） #

如果因为业务或实验要求必须用独热的3D稀疏形式，可以试试这两种方式：

• TensorFlow原生SparseTensor：TF支持高维稀疏张量，你只需记录非零元素的位置和值（独热的话值全为1），就能构建出内存友好的稀疏表示，且大部分TF层支持直接处理它。

  import tensorflow as tf
  
  # 示例：记录所有非零位置，格式为(样本索引, 时间步索引, 词索引)
  indices = np.array([[0, 0, 5], [0, 1, 10], [1, 0, 3]])
  values = np.ones(len(indices), dtype='float32')
  sparse_encoder_input = tf.sparse.SparseTensor(
      indices=indices,
      values=values,
      dense_shape=(Num_samples, Time_step, Vocabulary)
  )
  
  # 必要时可转为稠密张量（但一般不需要）
  dense_tensor = tf.sparse.to_dense(sparse_encoder_input)
  

• 拆分多个2D稀疏矩阵：把3D张量拆成100个(50000,5000)的CSR/CSC稀疏矩阵，训练时按时间步喂入模型。不过这种方式需要自己写数据管道，比较繁琐，优先级低于上面的方案。

3. 其他辅助优化思路 #

• 批量加载数据：用TF的tf.data.Dataset或Keras生成器，分批读取和处理数据，不用一次性把所有数据塞进内存。
• 缩小词汇表：统计词频，把低频词合并为<UNK>（未知词），减少词汇表规模，进一步降低内存压力。

内容的提问来源于stack exchange，提问作者Raven Cheuk