无需下载Codellama模型，如何用Python在终端或API调用？

无需本地下载CodeLlama模型文件，即可通过以下两种方式调用：

1. 终端通过Python调用远程模型 #

先安装依赖：

pip install requests

然后在终端执行以下Python命令（替换你的HF令牌为你的Hugging Face个人访问令牌，需提前申请CodeLlama访问权限）：

python -c "import requests; h = {'Authorization': 'Bearer 你的HF令牌'}; url = 'https://api-inference.huggingface.co/models/meta-llama/CodeLlama-7b-hf'; res = requests.post(url, headers=h, json={'inputs':'写一个Python冒泡排序代码', 'parameters':{'max_new_tokens':200}}); print(res.json()[0]['generated_text'])"

执行后终端直接输出模型结果，全程无本地模型下载。

2. 编写交互式Python程序 #

创建一个脚本，接收用户输入并调用远程API：

import requests

HF_TOKEN = "你的HF令牌"
API_URL = "https://api-inference.huggingface.co/models/meta-llama/CodeLlama-7b-hf"
headers = {"Authorization": f"Bearer {HF_TOKEN}"}

def call_codellama(prompt):
    payload = {
        "inputs": prompt,
        "parameters": {"max_new_tokens": 300, "temperature": 0.7}
    }
    response = requests.post(API_URL, headers=headers, json=payload)
    return response.json()[0]["generated_text"]

if __name__ == "__main__":
    user_prompt = input("输入你的代码需求：")
    print("\n模型输出：")
    print(call_codellama(user_prompt))

运行脚本后，输入prompt即可获取远程CodeLlama的返回结果，无需本地存储模型。

注意：需先在Hugging Face平台申请CodeLlama模型的访问权限，并生成个人访问令牌。

内容的提问来源于stack exchange，提问作者Venkatesh B