词汇量超1亿时，模型输出one-hot编码的替代方案咨询

当词汇量突破1亿量级时，one-hot编码完全是不现实的——光是单个样本的标签就需要占用1亿个浮点存储空间，内存直接撑爆。这里有几个经过工业界验证的替代方案，帮你搞定这个问题：

1. 优先用稀疏交叉熵损失（Sparse Categorical Crossentropy） #

这是最直接的替代方案，根本不需要对标签做任何编码转换，直接使用原始的整数索引标签就行。Keras/TensorFlow内置的SparseCategoricalCrossentropy损失函数会自动处理整数标签，内部计算时避免了生成巨大的one-hot矩阵，内存占用直接从O(vocab_size)降到O(1) per样本。

示例代码：

# 假设y是形状为(样本数,)的整数标签数组
model.compile(
    loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    optimizer='adam',
    metrics=['accuracy']
)
model.fit(x_train, y_train, epochs=10)

这个方案实现成本最低，性能损失也最小，优先推荐尝试。

2. 负采样（Negative Sampling） #

传统的softmax需要计算所有词汇的概率，复杂度是O(vocab_size)，在1亿词汇量下完全不可行。负采样的思路是：每次只计算目标词的概率，再随机选取少量（比如5-20个）负样本词来计算概率，用这种近似方式替代完整的softmax计算，把复杂度降到O(k)（k是负样本数量）。

在Keras里，你可以通过自定义损失函数结合tf.nn.sampled_softmax_loss来实现：

def sampled_softmax_loss(y_true, y_pred):
    # y_true是整数标签，形状为(批量大小,)
    # y_pred是模型输出的logits，形状为(批量大小, 隐藏层维度)
    weights = model.get_layer('output_layer').weights[0]
    biases = model.get_layer('output_layer').weights[1]
    return tf.nn.sampled_softmax_loss(
        weights=weights,
        biases=biases,
        labels=tf.expand_dims(y_true, 1),
        inputs=y_pred,
        num_sampled=20,  # 负样本数量
        num_classes=vocab_size
    )

# 模型的输出层不用做vocab_size维度的映射，而是输出隐藏层维度的logits
model.add(Dense(hidden_dim, name='output_layer'))
model.compile(loss=sampled_softmax_loss, optimizer='adam')

负采样非常适合大规模语言模型的预训练阶段，训练速度提升明显。

3. 分层Softmax（Hierarchical Softmax） #

把整个词汇表组织成一棵二叉树，每个词汇对应树的一个叶子节点。计算某个词的概率时，只需要遍历从根节点到该叶子节点的路径，每个节点做一次二分类判断，时间复杂度降到O(log(vocab_size))——对于1亿词汇量来说，log₂(1e8)大概是27，比1亿小了好几个数量级。

Keras没有内置的分层Softmax层，但你可以基于二叉树结构自定义损失函数，或者使用一些第三方实现。这种方法适合超大规模词汇量的场景，尤其是当词汇的频率分布符合幂律（大部分词是低频词）时，效率提升更明显。

4. 迁移学习：基于预训练大模型微调 #

如果你的任务不需要从零开始训练语言模型，直接用预训练的大模型做微调是更高效的选择。这些模型本身已经处理了超大规模词汇量的问题，你只需要加载对应模型的tokenizer和模型结构，在你的数据集上微调即可，完全不用自己操心标签编码的问题。

比如用Hugging Face的Transformers库，直接加载适配大词汇量的预训练模型，微调流程会自动处理所有底层细节。

内容的提问来源于stack exchange，提问作者humble