AI 应用是针对大模型在线推理场景推出的一站式开发部署运维平台。本文为您介绍如何通过模板快速部署一个 LLaMA Factory 服务,用于大语言模型微调。
说明
【邀测·申请试用】AI 应用当前邀测开放。如需体验,请联系您的售前经理或解决方案经理。
LLaMA Factory 是一个开源的 LLMs 微调的框架,支持通过 Web UI 界面微调大模型。它提供了一套完整的工具和接口,旨在简化大型语言模型的微调过程,使得用户能够轻松地对预训练的模型进行定制化的训练和调整,以适应特定的应用场景。
支持多种模型,包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen 和 ChatGLM 等,这些模型涵盖了自然语言处理领域的多个应用场景。
支持多种微调技术,包括增量预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练等。
支持多种精度调整,如 32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。
集成了多种先进算法,如 GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ 和 Agent 微调等。
持续交付 CP
(可选)如需挂载模型文件,请完成以下准备工作,任选一种存储即可。
(可选)如需配置外部访问方式,请完成以下准备工作,任选一种方式即可。
登录应用管理页面。
登录 持续交付控制台。
在左侧导航栏选择 工作区。
单击目标工作区名称,进入当前工作区。
在左侧导航栏选择 应用交付 > 应用管理。
在应用管理页面,单击 创建应用。
在创建应用页面,选择 AI 应用。
选择 LLaMA Factory 大语言模型微调 模板,并单击 下一步:应用配置。
按要求填写应用的相关配置信息。配置完成后单击 确定,应用将开始创建并部署。
配置项 | 说明 |
---|---|
应用标识 | 根据界面提示填写应用标识。应用标识是应用的唯一标识,创建后不可更改。 |
应用显示名 | 自定义应用的显示名称。 |
描述 | 填写当前应用的备注信息,可以为空。 |
配置项 | 说明 |
---|---|
部署资源 | 选择前提条件中接入的 VKE 部署集群。 注意 如需以弹性容器实例方式部署,仅适用于网络模型为 VPC-CNI 的 VKE 集群,且集群中需提前安装 vci-virtual-kubelet 组件。 |
命名空间 | 选择或输入要部署的命名空间。输入的命名空间不存在时会自动创建。 |
环境标识 | 自定义当前环境的唯一标识。环境标识创建成功后不支持修改。 |
配置项 | 说明 |
---|---|
镜像选择 | 本模板使用预置镜像 Llama factory。 |
模型 | 支持 官方模型 和 自持模型,请按需选择。
|
数据集 | 可选配置。将微调应用需要用到的数据集挂载到服务中。
|
模型输出位置 | 如果您希望对输出的模型进行持久化存储,需要对模型输出目录进行挂载。
|
HF Token | 可选配置。如需下载 Hugging Face 模型,需在此处配置 HF Token。 |
启动命令 | 设置应用的启动命令和监听的容器端口。默认为 |
勾选 以弹性容器实例方式部署
配置项 | 说明 |
---|---|
实例数 | 根据业务规模,设置应用的副本数。 |
弹性容器实例 | 保持勾选 以弹性容器实例方式部署。使用该方式部署应用,无需管理底层云服务器等基础设施,只需提供镜像即可运行容器,并为实际消耗的资源付费。计费详情,请参见 弹性容器计费说明。 |
日志采集 | 是否通过火山引擎日志服务 TLS 采集 VCI 容器日志,对日志进行持久化存储。
注意 开启日志采集后,请确保已在 VKE 集群的日志中心中完成相关日志采集规则的配置,保证日志可正常投递至您配置的项目和主题中。具体操作请参见 采集容器日志。 |
资源配置类型 | 根据业务需求选择要使用的实例规格。不同计算规格提供的虚拟化能力不同,详情请参见 VCI 实例规格介绍。
|
系统盘 | 设置系统盘容量。系统盘主要用于缓存镜像,容量必须大于镜像大小。 说明 如果您在 VCI 侧 申请 了手动指定系统盘大小的邀测功能,支持在此处自定义系统盘的容量。 |
不勾选 以弹性容器实例方式部署
配置项 | 说明 |
---|---|
实例数 | 根据业务规模,设置应用的副本数。 |
资源配置类型 |
|
配置 AI 应用的访问方式。详细内容可参见 访问设置。
验证应用是否部署成功
在应用的 基本信息 > 资源配置 页签,查看应用的部署进度。支持通过实例的 运行状态、实时日志 和 事件,查看应用详细的启动和运行信息。
访问 LLaMA Factory
应用部署成功后,可在 访问设置 区域复制应用的访问地址。通过该地址去访问 LLaMA Factory Web UI。
配置参数,开始模型微调。