Iguazio REST API模型服务部署、框架支持及端点安全咨询

1. 是否支持基于REST API对外提供模型服务 #

完全支持。Iguazio 原生提供模型服务托管能力，模型部署完成后会自动生成标准化的RESTful服务端点，支持通过HTTP/HTTPS协议发送推理请求，平台自带请求路由、负载均衡、自动扩缩容、推理日志采集、监控告警等配套能力，不需要额外搭建API网关即可对外提供稳定的模型推理服务。

2. 是否支持Flask、FastAPI等同类框架部署模型服务 #

支持，且适配方式非常灵活：

• 你既可以使用平台自带的ServingRuntime模板快速封装模型，也可以直接将已有的基于Flask、FastAPI、BentoML等框架编写的模型服务代码，几乎零改造部署到Iguazio平台。平台会自动接管服务的进程托管、流量转发、弹性伸缩逻辑，不需要你自行维护服务器运行环境。
• 对于自定义ASGI/WSGI应用，只需要在部署配置中指定应用入口即可，参考如下最小部署示例：

from fastapi import FastAPI
import mlrun

# 原有FastAPI服务代码无需大幅修改
app = FastAPI()
loaded_model = None

@app.on_event("startup")
def load_trained_model():
    global loaded_model
    # 直接从Iguazio模型仓库拉取对应版本的模型
    loaded_model = mlrun.load_model("recommendation-model:production")

@app.post("/predict")
def predict(user_features: dict):
    res = loaded_model.predict(user_features)
    return {"code": 0, "result": res.tolist()}

# 部署到Iguazio平台
serving_fn = mlrun.code_to_function(
    name="rec-model-service",
    kind="serving",
    filename="service.py",
)
# 指定ASGI应用入口
serving_fn.set_env("ASGI_APP", "service:app")
serving_fn.deploy()

除了FastAPI/Flask这类Web框架，平台也支持托管Gradio、Streamlit类的交互演示应用，满足不同场景的服务发布需求。

3. 服务端点安全防护配置方式 #

平台原生提供多层安全防护能力，可按业务需求灵活配置：

• 身份鉴权配置：默认对外暴露的服务端点开启访问鉴权，你可以选择API Key校验、会话密钥校验模式，要求调用方在请求头携带合法凭证才可访问；也可对接企业已有的OAuth2.0、OIDC身份体系，实现单点登录和统一身份管控。
• 网络访问控制：可配置端点的暴露范围，支持设置为仅集群内部访问、VPC内网访问或公网暴露；公网暴露场景下可配置IP白名单规则，仅允许信任的来源IP调用服务，同时可接入WAF拦截规则，过滤SQL注入、恶意payload等异常请求。
• 流量防护配置：支持配置单调用方、单IP的请求速率限制，避免恶意高频请求打满服务资源；同时可设置请求体大小上限、超时时间，防止异常请求拖垮服务实例。
• 传输加密配置：所有公网暴露的端点默认强制HTTPS协议，平台自动完成TLS证书的签发和续期，保障传输过程数据不被窃听、篡改。
• 细粒度权限管控：可基于角色给不同调用方分配差异化权限，例如仅授予业务系统推理接口调用权限，授予算法团队模型更新、服务配置调整权限，遵循最小权限原则避免越权操作。

内容的提问来源于stack exchange，提问作者Marcelo Litovsky