如何通过MLflow API 2.0配置模型服务集群实例类型

你可以在启用模型服务的API请求中，通过添加serving_config参数指定自定义实例类型，无需后续通过UI调整。修改后的代码如下：

instance = f'https://{workspace}.cloud.databricks.com'
headers = {'Authorization': f'Bearer {api_workflow_access_token}'} 

# 启用模型服务并指定实例类型
import requests
url = f'{instance}/api/2.0/mlflow/endpoints/enable'
requests.post(
    url, 
    headers=headers, 
    json={
        "registered_model_name": f'{model_name}',
        "serving_config": {
            "instance_type": "m4.large",
            # 可选：按需配置服务节点的伸缩范围
            "min_workers": 1,
            "max_workers": 2
        }
    }
)

关键说明 #

• 核心是在请求的JSON参数中加入serving_config字段，通过instance_type直接定义你需要的实例规格。
• min_workers和max_workers为可选参数，可根据业务负载需求调整服务的弹性伸缩能力，不需要的话可以直接移除。

内容的提问来源于stack exchange，提问作者spies006