火山方舟大模型是AI-大模型处理算子中的智能化数据处理工具,支持对接火山引擎大模型服务,通过自定义模型配置、生成策略及角色人设,实现非结构化数据解析、多语言翻译等功能,适用于企业数据智能化处理场景。本文为您介绍如何使用火山方舟大模型。
说明
火山方舟大模型V2与火山方舟大模型相比优化了算子性能与参数配置逻辑。
火山方舟大模型算子对接火山引擎大模型服务,可对数据进行智能化处理,如用户评论分析、会话内容总结、图片内容识别等,用户可通过配置模型参数和提示词,实现数据的自动化智能处理。
注意
此功能为增值功能,如果您希望使用该功能,可联系火山引擎技术支持人员咨询,购买开通此功能后可使用。
ep-xxxxxxxxxx-yyyy,创建方式参考创建自定义推理接入点。xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx,获取方式参考获取 API Key 并配置。在提示词配置区域,系统默认提供了用户评论分析、会话内容总结、图片内容识别三类模版提示词供您参考。您可以选择指定模版并调整模版内容,也可以根据业务需要自定义编辑模型提示词。
文本字段不会自动发送给模型,因此需要以 ${字段名} 的格式在提示词内显示引用。成功配置后提示词下方会有如下图所示的提示信息。
勾选数据后置操作,在大模型输出结果的基础上对数据进行一些处理,单击测试执行可以测试数据后置操作的结果,在测试执行结果栏可查看。
例如,系统默认配置中,将响应结果中的消息解析为 JSON 对象。
在高级设置区域配置参数。
相关参数说明如下:
参数 | 配置说明 |
|---|---|
并发大小 | 设置并发处理的任务数量。 |
超时时间 | 大模型计算超时时间,单位为毫秒 ms |
重试次数 | 请求失败时的自动重试次数,单位为次 |
请求间隔 | 大模型接入点一般都有RPM(每分钟请求次数)限制,根据RPM的值按需设置请求间隔,单位为毫秒ms 说明 设置请求间隔是为了避免出现大模型出现接口限流报错,一般错误信息如下 |
异常处理 |
|
在测试执行结果的基础上,在字段设置区域配置字段、解析路径、字段类型,从而结构化输出数据,供下游节点使用。
问题表现
出现 Too Many Requests 的报错信息
解决方案
更换RPM更大的大模型接入点,可参考开通管理--火山方舟大模型服务平台-火山引擎;同时调大高级设置-请求间隔。
问题表现
提示信息为后置操作执行失败
解决方案
先取消数据后置操作,点击测试执行,查看下当前测试执行结果。根据当前的试执行结果重新调整数据后置操作代码。
问题表现
执行时报错,点击查看日志按钮,往下翻发现错误提示:java.lang.RuntimeException: 已达到最大失败重试次数, 错误信息:http result not success, code:400, message:Bad Request, body:{"error":{"code":"InvalidParameter","message":"One or more parameters specified in the request are not valid
解决方案
通过添加计算列算子对输入进行处理,将一些特殊字符替换掉,表达式为:
replace(replace(regexp_replace(`待处理字段`, "[\\n\\r\\t]", " "), '"', '"'), '\\', '\')