在 模型仓库 页面,进行精调后模型的管理,包括查看模型信息、模型体验、发起评测、模型推理和增量训练等操作。
访问 模型仓库 页面,点击精调模型列表中的模型名称,即可查看模型概览信息、接入点信息。
切换到“模型压缩”页签,可对模型进行压缩处理。对于经LoRA精调后的模型,需在完成压缩后,才可进行独立部署推理,包括模型单元部署与批量推理等场景。
注意
模型压缩后可能存在部分效果差异,压缩后请及时进行模型评测。
注意
精调后模型支持情况请以 批量推理 可选模型为准
访问 批量推理 控制台创建批量推理任务,注意模型选择时勾选“模型仓库”。
说明
部分模型需要压缩后才可使用“按模型单元付费”,如果您的模型未压缩控制台会有模型压缩提示,请参考提示压缩后再创建批量推理任务。
您可以在模型仓库中选择模型进行评测,详情参见创建模型评测任务。