自定义大模型是特色专区算子中的智能化数据处理工具,支持Deepseek大模型、通义千问大模型算子和自定义大模型。通过自定义模型配置、生成策略及角色人设,实现非结构化数据解析、多语言翻译等功能,适用于企业数据智能化处理场景。本文为您介绍如何使用自定义大模型算子。
注意
此功能为增值功能,如果您希望使用该功能,可联系火山引擎技术支持人员咨询,购买开通此功能后可使用。
您已开通Deepseek大模型、通义千问大模型服务或自定义的其他大模型服务。
点击已拖入任务中的自定义大模型算子,配置模型参数,配置相关信息。
配置项 | 说明 |
|---|---|
模型 | 选择您需要使用的模型。
|
模型调用地址 |
|
模型 | 输入模型Endpoint。例如:ep-xxxxxxxxxx-yyyy,获取方式可参考获取 Endpoint ID。 |
API Key | 输入调用模型所需的 API Key。例如:xxxxxxxx-yyyy-xxxx-yyyy-xxxxxxxxxxxx,获取方式可参考获取API Key并配置。 |
生成多样性 | 选择预设的模式来控制生成内容的多样性。不同的模式会对应不同的生成随机性和Top P参数值(可修改)。
|
生成随机性 | temperature:调高会使得模型的输出更多样性和创新性,反之,降低会使输出内容更加遵循指令要求但减少多样性。建议不要与“Top p”同时调整。控制生成文本的随机程度。值越高,生成的内容越随机和多样化;值越低,内容越确定和保守。 |
Top P | Top p为累计概率:模型在生成输出时会从概率最高的词汇开始选择,直到这些词汇的总概率累积达到Top p值。这样可以限制模型只选择这些高概率的词汇,从而控制输出内容的多样性。建议不要与“生成随机性”同时调整。一种控制生成文本多样性的方法,也称为核采样(Nucleus Sampling)。模型会从累积概率超过 P 值的词汇中进行采样。较高的值会增加多样性。 |
模型参数 | 点击添加参数,添加参数名和参数值。 |
配置人设与回复逻辑相关的提示词。
需包括以下四部分:
* 角色定义:如标签提取专家。 * 技能说明:如提取什么标签。 * 输出格式:如JSON格式要求。 * 其他限制:如专注提取任务不做发散。
以下为示例,仅供参考:
# 角色 你是一个精准高效的银行消费贷客服聊天内容分析机器人,能从客服聊天记录中快速、准确地提取出对应的标签,助力银行深入了解客户需求,进而提供更个性化的服务。 ## 技能 ### 技能 1:分析聊天内容提取标签 1. 仔细研读客服聊天记录,精准理解客户的表达意图。 2. 依据客户的表述,判定其贷款需求(demand)所属标签: - 立即办理:客户明确表示当下立刻就要办理消费贷。 - 近期考虑:客户透露在近段时间内有办理消费贷的打算。 - 暂无需求:客户明确表达目前没有办理消费贷的需求。 3. 依据客户的表述,判定其客户类型(customerType)所属标签: - 个人:个人用户。 - 企业:企业用户。 - 未知:无法明确判断客户类型。 4. 依据客户的表述,判定其关注重点(focus)所属标签: - 利率:客户主要围绕贷款利率进行询问或讨论。 - 额度:客户着重提及贷款额度相关情况。 - 还款方式:客户对还款方式表现出兴趣。 - 审批流程:客户关心贷款审批流程等相关问题。 - 其他:客户关注的内容不属于上述明确分类。 5. 依据客户的表述,判定其贷款用途(loanUsage)所属标签: - 日常消费:客户表示贷款主要用于日常消费。 - 教育支出:客户强调贷款用于教育相关支出。 - 医疗支出:客户提及贷款用于医疗方面。 - 其他用途:客户提到的贷款用途不属于上述类别。 - 未提及:客户未提及贷款用途相关内容。 6. 自由提取聊天记录中有价值的其他标签,例如客户对贷款期限的偏好、特殊要求等(若没有则输出 null)。 以 JSON 格式输出内容,示例如下: { "demand": "近期考虑", "customerType": "个人", "focus": "额度", "loanUsage": "日常消费", "otherValuableTags": null } 若无匹配标签,可输出 null。 ## 限制 - 仅针对客服聊天内容进行分析,提取确切标签,不进行其他无关操作。 - 严格按照既定标签分类进行判断,不得自行创设新的标签类别。 - 务必确保分析结果的准确性与客观性。 - 自由提取的标签需确实有价值且与客户需求或银行消费贷相关 。
配置模板变量与用户输入。在“模板变量”的“上游字段”中选择非结构化数据的字段列后,在“用户输入”中配置变量的规则。
点击「高级设置」,设置相关参数。
相关参数说明如下:
参数 | 配置说明 |
|---|---|
并行度 | 请求的并行数,实际执行时的并行数和集群可用的资源也有关。建议用户根据调用的接口性能(QPS、QPM 等限制),合理计算并行度进行填充。 |
超时时间 | 大模型计算超时时间,单位为毫秒ms |
重试次数 | 请求失败时的自动重试次数,单位为次 |
请求间隔 | 大模型接入点一般都有RPM(每分钟请求次数)限制,根据RPM的值按需设置请求间隔,单位为毫秒ms 说明 设置请求间隔是为了避免出现大模型出现接口限流报错,一般错误信息如下 |
补全异常处理 |
|
点击「测试执行」,在「测试执行结果」栏中查看输出结果。
勾选「数据后置操作」,在大模型(API)输出结果的基础上对数据进行一些处理,点击「测试执行」可以测试数据后置操作的结果,在「测试执行结果」栏可查看。
例如:通过人设与回复逻辑功能可以让大模型输出JSON格式的数据,则编写一下代码将JSON字符串处理为JSON对象,从而便于在字段设置中使用。
def jsonSlurper = new JsonSlurper() return jsonSlurper.parseText(response.data.choices[0].message.content)
注意
开启【批量推理】后,会自动开启【数据后置操作】,但不能自定义代码。
在测试执行结果的基础上配置字段、解析路径、字段类型,从而结构化输出数据。