You need to enable JavaScript to run this app.
导航
LLM-API-Python
最近更新时间:2024.06.07 10:16:43首次发布时间:2024.04.10 10:20:03

LLM-API-Python 是边缘智能提供的,用于请求大语言模型服务的 API 代理模型。本模型基于 Python 框架构建,能够使用您提供的 API key 请求 GLM-4V 大模型服务。

模型基本信息

您可以在边缘智能控制台的 官方模型 列表访问本模型。下图展示了本模型的基本信息。
图片

框架

本模型是 Python 格式的模型。

输入

名称

类型

形状

IMAGE

STRING

-1

输入说明:

  • IMAGE 表示输入的图片。图片采用 base64 编码格式。

输出

名称

类型

形状

RESPONSE_TEXT

STRING

-1

输出说明:

  • RESPONSE_TEXT 表示 GLM-4V 服务返回的文字响应。

模型版本

本模型提供 1 个可部署版本。
图片

版本名称

最大批处理大小

硬件架构要求

其他说明

v1

0

模型部署

步骤1:获取 API key

部署本模型前,您必须先从智谱AI开放平台获取您的 API key。
图片

步骤2:部署模型服务

参考 部署模型服务进行模型服务的部署。在 部署模型服务 参数配置页面,修改以下配置:

说明

下表中未包含的配置项无需修改,统一使用默认值。

类型

配置项

说明

基本信息

节点

选择一个节点(一体机)。

服务名称

设置一个服务名称。该名称不能与节点上其他服务的名称重复。

模型信息

模型

选择 LLM-API-Python

模型版本

选择 v1

服务配置

HTTP端口

指定节点上的一个空闲端口。

GRPC端口

指定节点上的一个空闲端口。

部署实例

修改默认填充的 参数配置。需要修改的字段包括:

  • api_key:修改为您的 API Key。
  • prompt:修改为要使用的 prompt(提示词)。

OpenAI标准接口

该功能开启后,您可直接使用 OpenAI SDK 及其相关生态链工具调用模型服务。
要开启该功能,您需要指定节点上的一个空闲端口作为访问端口。

验证

完成模型服务部署后,您可以使用客户端脚本进行模型的调用。以下是 Client 脚本的示例。

import requests
import base64

server = "<server_ip:port>" # 修改为模型服务的服务地址(可从模型服务详情中获取)
img_path = "./img/cat.jpeg'" # 修改为要从本地计算机读取的图片地址

url = "http://%s/v2/models/m-official-28/infer" % server
def request_glm_vl():
    data = {
        "inputs": [
            {
                "name": "IMAGE",
                "shape": [1],
                "datatype": "BYTES",
                "data": [
                    base64.b64encode(open(imgpath, 'rb').read()).decode('utf-8')
                ]
            }
        ]
    }
    response = requests.post(url, json=data)
    if response.status_code == 200:
        # 获取响应文本
        response_text = response.json()["outputs"][0]["data"][0]
        print(f"Response: {response_text}")
    else:
        print(f"Error: {response.status_code} - {response.text}")

request_glm_vl()