火山引擎方舟平台提供模型数据、精调、推理、评测等端到端功能,全方位保障您的 AI 应用开发落地。如果您的业务部署在方舟平台,大模型应用防火墙可以根据方舟应用 API Key 访问您的业务,并将业务流量牵引至防护接入点进行检测防护,解决大模型应用面临的恶意攻击、敏感数据泄露、算力滥用等问题,保障业务安全稳定运行。
本文介绍将火山引擎方舟业务接入大模型应用防火墙的具体操作步骤。
接入大模型应用防火墙后,业务流量的处理流程如下:
完整的请求响应流程如下图所示:
您的业务已经接入方舟平台,相关操作请参见方舟平台快速入门。
API Key 是您请求火山方舟大模型服务的凭证,因此您需要先获取方舟服务的 API Key,再将其提供给大模型应用防火墙服务,实现业务与大模型应用防火墙的交互。
获取方舟 API Key 后,您只需要简单配置,就可以将业务接入大模型应用防火墙服务进行防护了。
方舟平台。平台将在配置完成后的返回页面展示防护策略的默认配置,且配置为开启状态。
对应策略的详细介绍和配置说明可参见防护策略介绍。
将方舟 SDK 初始化配置中的访问路径替换为步骤二 配置接入参数中获取的接入点域名,调用 SDK 时就可以将流量转发至大模型应用防火墙实现防护。
以方舟 Python SDK 为例,将以下初始化配置中的base_url设置为<大模型应用防火墙接入点域名>/api/v3。
import os from volcenginesdkarkruntime import Ark client = Ark( api_key=os.environ.get("ARK_API_KEY"), # 方舟的 API Key,例如:5b25f2d5-466d-4017-a864-304d99cf**** base_url="a00d4f9ab2dbc92d564ed6644cdb****.access.omni-shield.volces.com/api/v3" # 将方舟访问路径设置为<大模型应用防火墙接入点域名>/api/v3
替换完成后,部署于方舟的应用将自动受大模型应用防火墙保护。大模型应用防火墙会依据已配置的策略,对所有相关请求进行实时检测并返回结果。