如何限制LSTM的词汇量？如何配置LSTM仅预测特定句法类别并设置权重？

问题1：如何限制LSTM的词汇量？ #

限制词汇量核心是在数据预处理阶段做筛选，再对应调整模型配置，具体步骤很清晰：

• 先统计语料里所有词的出现频率，只保留前N个高频词（比如你要限制到2000就留前2000），剩下的低频词统一替换成<UNK>（未知词标记），这样词汇量就固定在N+1的规模了。
• 接着把筛选后的词汇表作为模型的输入依据，同时把Embedding层的vocab_size参数改成你最终确定的词汇量大小（比如2001）。
• 要是你用了预训练词向量，记得同步筛选出保留词汇对应的词向量，<UNK>的向量可以用随机初始化，或者所有预训练向量的均值来填充，效果都还不错。

问题2：如何构建仅预测特定句法类别（如动词）的模型？ #

首先得说，直接把权重硬设为1或0是不可行的——这相当于直接锁死了模型的输出，模型根本没法通过训练学习有效特征，最后结果肯定会崩。给你几个更合理的思路：

思路1：转成二分类任务（判断是否为动词） #

如果你的目标是预测某个位置的词是不是动词，那直接把输出层改成二分类就好，代码调整如下：

model = Sequential()
model.add(Embedding(vocab_size, embedding_size, input_length=5, weights=[pretrained_weights]))
model.add(Bidirectional(LSTM(units=embedding_size)))
# 输出层改成1个神经元，用sigmoid激活输出概率
model.add(Dense(1, activation='sigmoid'))
# 损失函数用二元交叉熵，适配二分类任务
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

这样模型会专注学习区分动词和非动词的特征。

思路2：给动词类别加损失权重（保留多分类） #

如果还想保留原有的多分类输出，但希望模型更重视动词的预测准确性，可以给动词类别的损失加权重：

# 先假设你已经拿到词汇表中所有动词对应的索引列表verb_indices
class_weights = {i: 1.0 for i in range(2000)}
# 给动词类别设置更高的权重，比如5.0，让模型更关注这类错误
for idx in verb_indices:
    class_weights[idx] = 5.0

# 编译模型时传入class_weights即可
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, class_weight=class_weights)

训练时模型会优先降低动词类别的预测误差，自然会更倾向于捕捉动词相关的特征。

思路3：过滤词汇表，只预测动词候选 #

如果你的目标是直接预测出动词（从词汇表的动词集合里选），那可以先把词汇表过滤成只有动词的集合，再调整模型输出层的单元数：

# 假设filtered_verb_vocab是只包含动词的词汇表，大小为verb_vocab_size
model = Sequential()
model.add(Embedding(vocab_size, embedding_size, input_length=5, weights=[pretrained_weights]))
model.add(Bidirectional(LSTM(units=embedding_size)))
# 输出层单元数设为动词词汇表的大小
model.add(Dense(verb_vocab_size, activation='softmax'))
# 对应的训练标签也要转换成动词集合内的索引，损失用稀疏交叉熵（如果标签是整数的话）
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')

内容的提问来源于stack exchange，提问作者user9355680