如何为Azure Databricks上的MosaicAI Foundation Model启用Inference Table以支持Human Evaluation?
关于Azure Databricks MosaicAI基础模型启用推理表的解决方案
提问内容:我正在使用Azure Databricks工作区中自动部署的MosaicAI基础模型(具体为Meta Llama 3.1 70B Instruct模型)。我想要配置人工评估(Human Evaluation),但该功能依赖推理表(Inference Table),当前界面显示推理表未启用。请问是否可以为此类模型启用推理表?
可以为此类自动部署的MosaicAI基础模型启用推理表,具体操作步骤如下:
- 登录Azure Databricks工作区,定位到已部署的Meta Llama 3.1 70B Instruct模型端点。
- 进入端点详情页的监控标签页,找到「推理表」配置模块。
- 点击「启用」按钮,选择目标数据库与表(无现成表时可直接创建新表)。
- 按需配置数据保留策略,设置推理数据的存储时长,优化存储资源占用。
- 保存配置后,系统会自动将该端点的推理请求、响应数据写入指定推理表。
额外注意:
- 操作时需确保拥有模型端点管理员权限或对应配置权限。
- 推理表启用后,需等待数分钟待数据开始写入,之后即可正常配置人工评估功能。
- 若界面无启用按钮,需联系工作区管理员确认是否开启了MosaicAI高级监控功能。
内容的提问来源于stack exchange,提问作者CB Madsen
相关产品推荐
相关产品推荐

