使用Gensim FastText如何计算迭代训练损失？有无替代方案？

嘿，我之前在使用Gensim的FastText训练模型时也遇到过这个问题，确实它没有像Word2Vec那样直接提供get_latest_training_loss方法，但有几个可行的替代方案来实现训练损失的日志记录，分享给你：

Gensim从3.8.0版本开始支持训练回调功能，我们可以自定义一个回调类来记录每轮训练的损失。核心思路是利用模型的get_training_loss()方法获取累计损失，然后计算每轮的差值（因为这个方法返回的是从训练开始到当前的总损失）。

示例代码如下：

from gensim.models.callbacks import CallbackAny2Vec
from gensim.models import FastText

class EpochLossLogger(CallbackAny2Vec):
    def __init__(self):
        self.epoch_num = 0
        self.previous_total_loss = 0

    def on_epoch_end(self, model):
        # 获取当前累计训练损失
        current_total_loss = model.get_training_loss()
        # 计算当前轮次的损失（累计差值）
        epoch_loss = current_total_loss - self.previous_total_loss
        print(f"Epoch {self.epoch_num + 1} | Training Loss: {epoch_loss:.4f}")
        # 更新上一轮的累计损失
        self.previous_total_loss = current_total_loss
        self.epoch_num += 1

# 初始化你的FastText模型，并传入回调实例
loss_logger = EpochLossLogger()
# 替换成你的训练数据和其他参数
fasttext_model = FastText(
    sentences=your_training_sentences,
    callbacks=[loss_logger],
    epochs=10,
    vector_size=100,
    window=5,
    min_count=1
)

如果你的Gensim版本较低，不支持回调功能，可以手动拆分训练轮次，每训练一轮后计算并记录损失：

from gensim.models import FastText

# 先初始化模型，但不启动训练（epochs设为0）
fasttext_model = FastText(
    sentences=your_training_sentences,
    epochs=0,
    vector_size=100,
    window=5,
    min_count=1
)

previous_total_loss = 0
total_epochs = 10

for epoch in range(total_epochs):
    # 每轮单独训练1次
    fasttext_model.train(
        your_training_sentences,
        total_examples=fasttext_model.corpus_count,
        epochs=1
    )
    # 获取当前累计损失并计算本轮损失
    current_total_loss = fasttext_model.get_training_loss()
    epoch_loss = current_total_loss - previous_total_loss
    print(f"Epoch {epoch + 1} | Training Loss: {epoch_loss:.4f}")
    previous_total_loss = current_total_loss

其实Gensim的FastText底层继承了Word2Vec的训练逻辑，get_training_loss()方法和Word2Vec的是同源的——Word2Vec的get_latest_training_loss()本质上也是计算累计损失的差值。只是FastText没有把这个封装成单独的方法，需要我们自己做一下差值计算。

另外要注意：如果你的模型使用了负采样（negative sampling），损失值的绝对值会和层次softmax（hierarchical softmax）不同，但两者的变化趋势都能用来判断训练是否收敛（比如损失逐渐下降并趋于稳定）。

内容的提问来源于stack exchange，提问作者Hardian Lawi