1. 蒸馏技术概述

1.1 技术定义

模型蒸馏（Model Distillation）是一种模型压缩技术，通过将复杂教师模型（如大规模预训练模型）的知识迁移至轻量学生模型，在保持学生模型高效推理能力的同时，显著提升其性能，适用于资源受限场景的模型部署。

1.2 参考资料

相关技术实践与效果验证请参考 蒸馏 DeepSeek-R1 最佳实践。

2. 数据投递配置

2.1 功能说明

平台支持将自定义推理接入点（预置接入点不支持）的调用数据（包含 Request/Response）通过加密通道投递至 AI 数据湖。数据仅用户可见且可管理，平台不存储或使用未授权数据。数据延迟约 10 分钟，支持单个/批量开启。

2.2 开启条件

• 权限要求：具备方舟 Standard 及以上权限。
• 服务开通：已开通 TOS 对象存储与 AI 数据湖服务（可在方舟控制台一键开通）。

2.3 操作步骤

2.3.1 单个推理接入点开启

• 创建时开启：在推理接入点配置页面勾选「数据投递」选项。

• 已创建接入点开启：进入接入点详情页，启用数据投递功能。

3. 数据集创建与筛选

3.1 数据筛选

在「数据集 > 我的数据湖」页面，通过“调用日期、模型版本、推理接入点 ”筛选目标数据。

3.2 数据集创建流程

1. 开始创建：点击「创建为数据集」进入配置页。
2. 数据采样策略：
   • 按比例采样：输入采样百分比（如 20%），从全量数据中随机抽取对应比例样本。
   • 按数据量采样：指定样本数量（如 10,000 条），按时间顺序或随机抽取固定数量数据。
3. 数据集配置：
   • 选择「新建数据集」或「已有数据集新版本」
   • 数据格式强制选择「SFT 精调」（蒸馏依赖 SFT 格式数据）
4. 确认创建：核对筛选条件与采样策略，提交后等待数据集生成。

4. 发起模型精调任务

在控制台「模型精调」模块，点击「创建精调任务」进入配置界面。

创建任务时注意以下几项配置：

• 训练类型：选择「SFT 精调」
  
• 数据集选择：从下拉列表中选择步骤 3 生成的数据集版本
  

其他配置请参考创建模型精调任务完成。
精调完成后，模型将作为「自定义模型」导出到「模型仓库」。

4.4 参考文档

• 创建模型精调任务
• SFT最佳实践

5. 精调模型使用

5.1 在线推理部署

为了通过 API 调用、控制台在线测试、批量推理等方式使用精调后的模型，可以在「在线推理」模块「自定义推理接入点」创建推理接入点。
请参考通过 Endpoint ID 调用模型获取推理接入点，注意模型要选择模型仓库中的精调模型。

5.2 模型评测

参考创建模型评测任务新建评测任务 ，关联目标模型的推理接入点进行评测。
任务启动后，可在评测任务列表中查看任务的运行状态和评测进度。每个模型都有属于该模型的单独评测任务，以便进行独立或组合查看。
任务完成后，可以在任务详情页点击「评测报告」，查看当前模型在选择的能力维度下的单项得分和综合得分。每个能力维度下，可分别查看该能力项中各个数据集的得分。