NLP中Original System与Bake Off含义及构建步骤问询

术语理解确认 #

• build original system：你的理解完全正确，它指的是构建一个基础原始模型系统，作为后续优化和对比的基准。
• bake off：这个理解也没问题，在机器学习课程作业场景中，它就是指将多个不同模型（或同一模型的不同变体）进行性能对比测试，最终筛选出效果最优的模型。

build original system的通用实施步骤 #

结合斯坦福这类课程的作业逻辑，通常包含以下步骤：

• 明确任务目标：先厘清系统要解决的具体问题（如分类、回归、自然语言处理任务等），确定核心性能评价指标。
• 数据预处理：完成数据收集、清洗、划分（训练集/验证集/测试集），按需开展特征工程（如归一化、特征提取、缺失值填充等）。
• 基础模型搭建：选择适配任务的基础模型架构（如简单神经网络、逻辑回归、决策树等），搭建最基础的模型框架，无需做复杂优化。
• 模型训练：使用训练数据对基础模型进行训练，设置常规的训练参数（如学习率、迭代次数）。
• 基准性能验证：用验证集测试训练后的模型，得到基准性能指标，该指标将作为后续“bake off”对比的参照标准。
• 过程记录：记录模型架构、训练参数、训练过程及基准性能，便于后续对比复盘。

内容的提问来源于stack exchange，提问作者Abdulmajeed