以大ML模型的预测结果训练轻量ML模型的技术名称是什么?
技术名称及说明
- 核心技术名称:伪标签学习(Pseudo-Labeling)
这种方法的核心逻辑是借助性能较强的模型(你的大型ML模型)为数据生成"伪标签",随后直接用这些带伪标签的数据集训练轻量化模型,属于离线训练流程,无需在学生模型训练阶段持续调用教师模型。 - 与知识蒸馏的关键区别:
知识蒸馏是在线联合训练——训练学生模型时,会同时让模型拟合真实标签(若有)和教师模型输出的软标签(logits分布),通过额外的相似度损失让学生学习教师的"暗知识";而你的场景是先完成教师模型的伪标签生成,再独立训练学生模型,仅使用教师输出的硬标签作为训练目标,这是两者最核心的差异。 - 补充:部分文献也会将这类场景称为标签蒸馏(Label Distillation),但伪标签学习是更通用、更易检索到的术语,适合在arXiv上作为关键词搜索相关论文。
内容的提问来源于stack exchange,提问作者neon5480
相关产品推荐
相关产品推荐

