为了将模型(平台)服务方的安全能力与数据隐私保护能力透传给用户,火山方舟提供机密部署方案。该方案基于硬件可信部署与远程证明(RA)技术,确保用户的推理服务始终运行于受硬件保护的可信环境中,用户可自主验证平台的安全能力,进一步向用户证明其数据 “唯用户可见、唯用户可用”。
车载智能助手在拓展智能化应用场景时,受限于端侧大模型的算力瓶颈,需借助云端大模型实现更丰富的功能。机密部署能保障用户隐私数据在端与云之间的安全流转,在充分发挥云端大模型能力的同时,确保敏感信息不被泄露。
智能客服需处理大量用户个人信息、售后保障等隐私数据。调用公有云模型时,企业常因数据安全风险而难以推进方案落地。机密部署可在可信环境中部署AI模型,确保隐私数据不出域,同时支持智能客服高效、安全地调用知识库。
选择部署方式及配置资源:
输入类型 | 部署方式 | 配置资源 |
|---|---|---|
输入类型为文本 | AICC机密部署-LLM |
|
输入类型包含图像 | AICC机密部署-VLM |
|
完成创建:确认配置并下单,系统将自动完成部署,此过程通常需要约10分钟。
说明
当您创建了机密部署推理点后,安全审计页面会自动为您展示部署节点的验证报告,您也可通过以下方式自主验证报告的真实性与一致性:
a. 手动解析原始Base64报告中的内容,与下载的base64解析报告内容做一致性对比
b. 手动验证Base64解析报告中的内容,与下载的验证报告内容做一致性对比与进一步分析
进入目标推理接入点的详情页,选择安全审计页面,点击可信验证报告,可在列表中查看并下载当前部署环境所有节点的报告。
说明
脚本工具源码需联系销售人员获取。
说明
脚本工具源码需联系销售人员获取。
说明
支持通过Trusted Key Service(TKS)进行会话加密。用户可以依靠SDK在本地私域对推理会话内容进行加密,会话密文安全传输至沙箱后,仅在TEE安全沙箱内存中解密成明文,用于模型推理。安全沙箱内的模型推理结束后,生成的推理结果会由安全沙箱加密,以密文的形式从安全沙箱传输至用户私域,最终由用户通过SDK在本地解密,获取明文推理结果。
注意
volcengine-python-sdk 4.0.2x及以上。您可以通过pip install 'volcengine-python-sdk[ark]' -U 获取SDK的最新版本。x-ark-moderation-scene = aicc-skip ,否则会报错。示例代码:
import os from volcenginesdkarkruntime import Ark # 请确保您已将 API Key 存储在环境变量 ARK_API_KEY 中 # 初始化Ark客户端,从环境变量中读取您的API Key client = Ark( # 此为默认路径,您可根据业务所在地域进行配置 base_url="https://ark.cn-beijing.volces.com/api/v3", # 从环境变量中获取您的 API Key。此为默认方式,您可根据需要进行修改 api_key=os.environ.get("ARK_API_KEY"), ) # 开启基于AICC TKS的会话加密 os.environ["VOLC_ARK_ENCRYPTION"] = "AICC" response = client.chat.completions.create( # 指定您创建的方舟推理接入点 ID,此处已帮您修改为您的推理接入点 ID model="ep-20250917110303-q54wz", messages=[ { "role": "system", "content": "你是豆包,是由字节跳动开发的 AI 人工智能助手", }, {"role": "user", "content": "请随机输出一个字符"}, ], extra_headers={ 'x-is-encrypted': 'true', # 开启基于TKS密钥的会话加密,访问 https://www.volcengine.com/docs/82379/1803071 了解更多。 "x-ark-moderation-scene": "aicc-skip", # 加上该Header会跳审核,否则会话依然走审核,可能导致报错。 }, ) print(response.choices[0])
Q: 机密部署支持哪些模型?
A: 目前机密部署功能仅支持 Doubao-Seed-1.6 模型。未来会逐步开放对更多模型的支持。
Q: 机密部署与原有的分离式部署有何区别?
A: 两者在安全方案和信任基础上有本质区别:
Q: 启用机密部署是否会影响模型推理性能?
A: 以Doubao-Seed-1.6为例,机密部署后的首Token输出时长增加约6%,QPS无较大影响
Q: 创建后能否在普通部署和机密部署之间切换?
A: 不支持。部署方式在推理接入点创建后即确定,无法直接修改。如果您需要更换部署方式,需要重新创建一个推理接入点。