在Semantic Kernel中调用HuggingFace推理接口遭遇404未找到错误

问题根源 #

你指定的endpoint参数重复包含了模型名称，导致Semantic Kernel构建了错误的请求URL，触发404 NotFound错误。

修复步骤 #

1. 移除冗余的endpoint参数 #

Semantic Kernel的AddHuggingFaceTextGeneration方法会自动根据传入的model参数拼接正确的推理API地址，无需手动指定完整带模型名的endpoint。修改后的代码如下：

IKernelBuilder builder = Kernel.CreateBuilder();

builder.Services.AddHuggingFaceTextGeneration(
        model: "meta-llama/Meta-Llama-3-70B-Instruct",
        apiKey: "<<my huggingface API goes here>>"
);

Kernel kernel = builder.Build();
// 推荐使用await避免死锁，需将方法标记为async
string? result = await kernel.InvokePromptAsync<string>("What is the capital of Turkey");
Console.WriteLine(result);

2. 验证模型访问权限 #

如果修复后仍有问题，请确认你已在Hugging Face Hub上申请并获得了meta-llama/Meta-Llama-3-70B-Instruct模型的访问权限，否则会返回权限相关错误。

3. 可选：手动指定基础endpoint（若需自定义网络环境） #

若因网络代理等需求需指定基础地址，只需传入API根地址即可，无需包含模型名：

builder.Services.AddHuggingFaceTextGeneration(
        model: "meta-llama/Meta-Llama-3-70B-Instruct",
        apiKey: "<<my huggingface API goes here>>",
        endpoint: new Uri("https://api-inference.huggingface.co/models/")
);

内容的提问来源于stack exchange，提问作者renakre