如何在Azure上部署Llama 2 7B实时端点及成本咨询

一、Azure AI ML Studio部署步骤（实操流程） #

• 先确认你的Azure账号有足够权限（比如Contributor级别），且已创建机器学习工作区。
• 登录Azure门户，找到你的机器学习工作区，进入AI ML Studio界面。
• 左侧导航栏点「模型」，顶部选「从模型库添加」，搜索「Llama 2 7B」，优先选带Chat的版本（更适配对话场景）。
• 选中模型后，点顶部「部署」→「部署到实时端点」：
  • 填一个好记的端点名称，计算类型选「托管在线端点」（Azure会帮你搞定服务器运维，不用自己折腾）。
  • 计算实例选Standard_NC6s_v3，这是能跑7B模型的最低配GPU实例，每小时费用约6美元。
  • 部署配置直接用默认值即可，模型自带适配的运行环境和脚本，无需手动修改，确认后点击「部署」。
• 等待10-15分钟部署完成，进入端点详情页的「测试」标签，输入测试prompt（比如“你好，介绍下自己”），点击测试就能拿到模型的响应结果。

二、VM运行状态与成本说明 #

• VM是否持续运行？ 默认状态下，只要端点处于「已部署」状态，VM就会持续运行并产生费用。但你可以在不用的时候，进入端点详情页点击「停止」，停止后不再收取计算费用；需要使用时再点击「启动」，启动后几分钟即可恢复服务。
• 成本细节：
  • 核心费用是计算费：Standard_NC6s_v3约6美元/小时，按实际运行时长计费，停止状态下这部分费用为0。
  • 还有少量存储费用（模型和部署文件的存储）、网络流量费用（端点的数据传输），但这两部分费用远低于计算费，基本可以忽略。
  • 省钱技巧：如果只是测试或非高频使用，用完及时停止端点；也可以尝试「无服务器端点」（需确认是否支持Llama 2 7B），无服务器会根据请求自动缩放，闲置时不收费，但响应速度可能略慢。

内容的提问来源于stack exchange，提问作者Ahmed Shaikh