FastText分类器过拟合问题：正则化参数设置方法问询

针对FastText过拟合问题，可通过调整以下正则化相关参数优化模型泛化能力，同时给出修改后的代码示例：

核心参数调整说明 #

• 降低学习率（lr）：原设置lr=1.0过高，会让模型快速拟合训练数据中的噪声。建议调整到0.1~0.5区间，比如lr=0.3，让模型更平缓地学习通用特征。
• 过滤低频词（minCount）：添加minCount=5（可根据数据集大小调整，小数据集设3，大数据集设10），过滤出现次数极少的词汇，避免模型学习无意义的噪声特征。
• 启用Dropout正则化：如果使用较新版本的FastText，添加dropout=0.2参数，随机丢弃部分特征，减少模型对局部细节的过度依赖。
• 调整负采样数量（neg）：默认neg=5，可适当增加到neg=10，通过引入更多负样本，迫使模型学习更鲁棒的通用特征表示。
• 减少向量维度（dim）：原dim=300可能导致模型容量过大，建议降低到100~200（比如dim=150），减少模型复杂度，避免过拟合。
• 控制训练轮数（epoch）：原epoch=10若已出现过拟合，可尝试减少到5~8，或在验证集监控性能，当验证集指标不再提升时停止训练（手动实现早停）。

修改后的训练代码 #

model = fasttext.train_supervised(
    f'train{runID}.txt',
    lr=0.3,          # 降低学习率
    epoch=8,         # 适当减少训练轮数
    wordNgrams=2,
    dim=150,         # 减少向量维度
    thread=2,
    verbose=100,
    minCount=5,      # 过滤低频词
    neg=10,          # 增加负采样数量
    dropout=0.2      # 启用Dropout正则化（需FastText版本支持）
)

额外优化建议 #

• 必须使用验证集实时监控模型性能，避免盲目训练；
• 若分类类别较多，可尝试设置loss='hs'（层次softmax）替代默认的softmax，既提升效率又能起到正则化作用；
• 提前清洗训练数据，去除重复、无效样本，从数据层面减少噪声干扰。

内容的提问来源于stack exchange，提问作者Amin Tabatabaei