根据业务实际情况,选择把IPC/NVR或者平台直接接入慢直播,或者通过RTMP流推送流到慢直播。
具体接入流程可以参考:
通过 RTMP 协议接入视频流
通过 GB 协议接入 IPC 设备
通过 GB 协议接入 NVR 设备
在完成视频流接入后,在控制台分别新建“截图模板”和“大模型模板”,并在“空间配置”-“模板配置”上把截图模板以及大模型模板和空间进行绑定。
登陆慢直播控制台,在“模板管理”,截图模板,创建截图模板
根据需要,配置截图模板的参数
选择需要配置截图模板的空间,点击“空间配置”-“模板配置”-“截图模板”-“编辑模板”对模板的内容进行配置,选择目标模板并绑定到空间上。
大模型模板支持火山方舟或者火山大模型网关的接入,两者开通其一即可。
也支持第三方符合openAI接口的大模型资源,
以下分别对方舟配置和大模型网关的配置进行说明。
首次配置时,需要提前开通方舟大模型资源,如您已经开通了方舟资源,可以跳过此步骤。
以在线推理节点为例,获取访问接入点/url/APIkey方舟控制台地址,选择已经创建好的接入点,并查看接入点信息。
点击API调用
获取到3要素信息
1 base url:https://ark.cn-beijing.volces.com/api/v3
2 API Key
3 modelname
“模板管理”-大模型模板-配置网关or编辑网关,弹出的页面中填入以上3要素。
注意:因方舟没有支持 GetModel 这个接口,配置模型目前用的是标准的 openai 这个接口来判断模型是否合法,界面出现如下图所示的EOF信息为正常现象,只要已经确保信息完全正确填入,点击进行保存即可。
如已经配置方舟,可忽略此步骤。
首次配置时,需要配置使用大模型相关的资源,如您已经开通了大模型网关,可以跳过此步骤。
以下以火山引擎大模型网关为例,说明如何获取地址和APIkey
到大模型网关获取访问节点和密钥大模型网关地址,选择网关访问密钥。
创建网关访问密钥,选择模型/智能体名称,这里推荐Doubao-Seed-1.6,选择后点击“下一步“
网关参数确定页面,选择默认参数即可
点击确定后,**显示出网关访问密钥列表 **
点击密钥的名称/ID,显示出详情
密钥在列表页面复制,或者在详情页面查看密钥,复制出密钥备用
点击“查看代码”,获取到访问的baseurl和model name
获取到3要素
1 baseurl:https://ai-gateway.vei.volces.com/v1
2 API Key
3 modelname

弹出网关配置页面,配置好网关地址(非火山大模型网关为访问点)和密钥,之后点击“测试链接”,状态显示为**“连接成功”,点击保存配置。如果状态为失败,请确认访问地址和密钥的正确性。
配置成功后,显示“大模型网关连通性正常”
点击新建模板,在弹出的编辑窗口,填写模板名称,以及提示词内容,模板描述等,点击保存即保存模板
大模型模板建立后,可以进行编辑/编辑/删除
控制台点击 空间管理,选择空间名称,进入空间详情,选择 模板配置,点击大模型模板-编辑模板
选择需要进行绑定的模板(可以选多个模板绑定),点击确定。
确定后,这些大模型模板即绑定到这些空间,当空间有流后,即自动对视频流进行处理。
目前大模型模板默认60秒自动截图并进行大模型检测,后续会和截图模板进行联动(开发中),用户可以自行配置截图间隔时间。
RTMP空间
点击空间名称,到空间页面,点击视频流管理,选择流名称,点击到流详情
选择大模型分析结果,即可查看分析后到图片列表
点击图片,可以查看视频详情,详情展示大模型解析的类别以及每个类别解析后的详情。
GB28181空间
点击空间名称,到空间页面,点击视频流管理,根据GBID选择流名称,点击流详情