FastText分类器精度异常求助：精度恒为1/n且输出单一标签

嘿，我之前也碰到过一模一样的坑！这种情况大概率是数据格式、训练数据分布或者参数设置出了问题，咱们一步步来排查解决：

1. 先揪出最常见的问题：数据格式错误 #

FastText对训练/测试数据的格式有严格要求：标签和文本之间必须用空格分隔，不能加逗号！你现在的格式是__label__1 , (文本)，这个逗号会让FastText把__label__1 ,当成标签的一部分，或者把逗号当成文本的开头，导致模型根本没正确识别到标签，自然就学不到有效特征，最后只能瞎输出同一个标签。

修正格式的快速方法 #

可以用Python脚本批量替换掉逗号：

import os

def fix_data_format(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        lines = f.readlines()
    
    fixed_content = []
    for line in lines:
        line = line.strip()
        if not line:
            continue
        # 分割标签和文本，去掉中间的逗号
        if '__label__' in line:
            label, text = line.split(',', 1)
            label = label.strip()
            text = text.strip()
            fixed_content.append(f"{label} {text}\n")
    
    with open(file_path, 'w', encoding='utf-8') as f:
        f.writelines(fixed_content)

# 处理训练和测试文件
fix_data_format('train.txt')
fix_data_format('test.txt')

2. 检查训练集的类别分布 #

如果格式没问题，那就要看看训练数据是不是严重类别不平衡了。比如你的训练集里__label__2的样本占了90%以上，模型就会偷懒——反正输出这个标签大部分时候都对（在训练集里），自然就会一直输出它。而测试集里这个标签的样本可能只有1个，所以精度就变成了1/n（n是测试集行数）。

统计类别分布的脚本 #

用这个脚本看看每个标签的样本数：

from collections import Counter

def count_label_distribution(file_path):
    labels = []
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            line = line.strip()
            if line and '__label__' in line:
                label = line.split()[0]
                labels.append(label)
    print("训练集标签分布：", Counter(labels))

count_label_distribution('train.txt')

解决不平衡的办法 #

• 欠采样：删掉一部分占比过高的标签的样本，让各个标签的样本数接近
• 过采样：复制占比低的标签的样本，增加其数量
• 调整训练参数：用-loss softmax损失函数，适当提高学习率，让模型更关注少数类

3. 调整训练参数，让模型充分学习 #

默认的FastText参数可能不足以让模型学到足够的特征，试试用下面的参数重新训练：

fasttext supervised -input train.txt -output my_model -epoch 20 -lr 0.2 -dim 150 -wordNgrams 2 -loss softmax

参数解释：

• -epoch 20：增加训练轮数，让模型充分拟合数据
• -lr 0.2：适当提高学习率，加快模型收敛
• -dim 150：增加词向量维度，捕捉更丰富的文本特征
• -wordNgrams 2：启用二元组特征，能更好地捕捉短语级的语义信息
• -loss softmax：多分类场景下的标准损失函数，确保模型学习正确的分类边界

4. 最后验证测试集格式 #

确保test.txt的格式和训练集完全一致（标签+空格+文本），然后重新测试：

import fasttext

classifier = fasttext.load_model('my_model.bin')
result = classifier.test('test.txt')
print(f"测试精度: {result[1]}, 召回率: {result[2]}, F1值: {result[3]}")

按照这个流程走下来，90%的概率能解决你的问题！

内容的提问来源于stack exchange，提问作者Martin Gaňo