如何在FastText监督分类模型中获取各标签的最显著Token？

FastText本身并没有直接提供model.label["__label__1"].get_most_significant()这种现成方法，但我们可以通过计算词向量与标签向量的余弦相似度来实现这个需求——余弦相似度越高，说明词汇和标签的关联越紧密。下面是具体的实现步骤和代码：

实现思路 #

1. 从训练好的模型中提取所有词汇及其向量，以及目标标签的向量
2. 计算每个词汇与目标标签向量的余弦相似度
3. 按相似度从高到低排序，取出Top N个词汇作为该标签的重要词汇

代码示例 #

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

def get_top_words_for_label(model, label, top_n=20, min_freq=5):
    # 获取目标标签的向量
    label_vec = model.get_label_vector(label).reshape(1, -1)
    
    # 过滤掉低频词汇（可选，根据需求调整min_freq）
    valid_words = [word for word in model.get_words() if model.get_word_freq(word) >= min_freq]
    # 获取这些词汇的向量
    word_vecs = np.array([model.get_word_vector(word) for word in valid_words])
    
    # 计算每个词与标签的余弦相似度
    similarities = cosine_similarity(label_vec, word_vecs)[0]
    
    # 按相似度排序，取出Top N词汇
    sorted_indices = similarities.argsort()[::-1][:top_n]
    top_words = [(valid_words[i], similarities[i]) for i in sorted_indices]
    
    return top_words

# 假设你的模型已经训练好并赋值给model变量
top_words_label1 = get_top_words_for_label(model, "__label__1", top_n=15)
print("__label__1的重要词汇：")
for word, sim in top_words_label1:
    print(f"{word}: {sim:.4f}")

关键细节解释 #

• 余弦相似度：FastText的词向量和标签向量都是高维向量，余弦相似度能有效衡量两个向量的方向一致性，数值越接近1，关联度越高。
• 低频词过滤：通过min_freq参数过滤掉出现次数少的词汇，避免噪声干扰结果，你可以根据自己的数据集大小调整这个值。
• 标签格式：确保传入的标签带有FastText默认的__label__前缀，比如你的三个标签应该是__label__1、__label__2、__label__3这种格式。

如果你想一次性获取所有标签的重要词汇，可以循环遍历model.get_labels()返回的标签列表，调用上面的函数即可。

内容的提问来源于stack exchange，提问作者mattiasostmar