LLM-API-Python

LLM-API-Python 是边缘智能提供的，用于请求大语言模型服务的 API 代理模型。本模型基于 Python 框架构建，能够使用您提供的 API key 请求 GLM-4V 大模型服务。

模型基本信息

您可以在边缘智能控制台的 官方模型 列表访问本模型。下图展示了本模型的基本信息。

框架

本模型是 Python 格式的模型。

输入

输入说明：

• IMAGE 表示输入的图片。图片采用 base64 编码格式。

输出

输出说明：

• RESPONSE_TEXT 表示 GLM-4V 服务返回的文字响应。

模型版本

本模型提供 1 个可部署版本。

模型部署

步骤1：获取 API key

部署本模型前，您必须先从智谱AI开放平台获取您的 API key。

步骤2：部署模型服务

参考 部署模型服务进行模型服务的部署。在 部署模型服务 参数配置页面，修改以下配置：

{
    "api_key":"your_api_key",
    "prompt":"请描述这张图片"
}

验证

完成模型服务部署后，您可以使用客户端脚本进行模型的调用。以下是 Client 脚本的示例。

import requests
import base64

server = "<server_ip:port>" # 修改为模型服务的服务地址（可从模型服务详情中获取）
img_path = "./img/cat.jpeg'" # 修改为要从本地计算机读取的图片地址

url = "http://%s/v2/models/m-official-28/infer" % server
def request_glm_vl():
    data = {
        "inputs": [
            {
                "name": "IMAGE",
                "shape": [1],
                "datatype": "BYTES",
                "data": [
                    base64.b64encode(open(imgpath, 'rb').read()).decode('utf-8')
                ]
            }
        ]
    }
    response = requests.post(url, json=data)
    if response.status_code == 200:
        # 获取响应文本
        response_text = response.json()["outputs"][0]["data"][0]
        print(f"Response: {response_text}")
    else:
        print(f"Error: {response.status_code} - {response.text}")

request_glm_vl()