C#调用HuggingFace文本生成API如何禁用缓存获取新响应

问题场景 #

调用Hugging Face托管的GPT2文本生成接口时，期望每次请求返回全新生成内容，实际多次调用返回结果重复，原有C#实现代码如下：

class Program
{
    static void Main(string[] args)
    {
        // 初始化请求
        var request = (HttpWebRequest)WebRequest.Create("https://api-inference.huggingface.co/models/gpt2");

        // 输入提示词
        var postData = "My name is Thomas and my main";

        // 输入转字节数组
        var data = Encoding.ASCII.GetBytes(postData);

        // 设置请求方法为POST
        request.Method = "POST";

        // 写入请求数据
        using (var stream = request.GetRequestStream())
        {
            stream.Write(data, 0, data.Length);
        }

        // 获取响应
        var response = (HttpWebResponse)request.GetResponse();

        // 读取并打印生成结果
        var responseString = new StreamReader(response.GetResponseStream()).ReadToEnd();
        Console.Write(responseString);
    }
}

返回重复结果的原因包含两层：一是客户端HTTP请求默认开启缓存，会复用本地存储的历史响应；二是请求未携带生成控制参数，服务端默认使用确定性贪心解码策略，输出结果本身就是固定的，和缓存无关。

修复步骤 #

• 禁用客户端HTTP缓存
  初始化请求对象后，添加缓存策略配置，强制不缓存任何响应内容，同时添加标准HTTP缓存控制头，绕过中间代理节点的缓存规则：

  // 设置请求级缓存策略：不缓存、不存储历史响应
  request.CachePolicy = new System.Net.Cache.RequestCachePolicy(System.Net.Cache.RequestCacheLevel.NoCacheNoStore);
  request.Headers.Add("Cache-Control", "no-cache");
  

• 补全请求头与服务端生成参数
  原有代码未指定请求内容格式，且仅传入纯文本提示词、未配置生成规则，需要做两处调整：
  1. 添加JSON格式请求头

     request.ContentType = "application/json";
     

  2. 将纯文本入参替换为结构化JSON参数，关闭服务端生成缓存，开启随机采样模式，保证每次生成结果不同：

     // 构造带生成控制参数的请求体
     var postData = System.Text.Json.JsonSerializer.Serialize(new
     {
         inputs = "My name is Thomas and my main",
         parameters = new
         {
             use_cache = false, // 关闭服务端生成KV缓存
             do_sample = true, // 启用随机采样，替代默认贪心解码
             temperature = 0.7, // 采样温度，值越高结果随机性越强
             top_p = 0.9 // 核采样阈值，提升生成内容多样性
         },
         // 兜底随机字段，每次请求生成唯一值，强制绕过所有缓存节点匹配
         request_id = Guid.NewGuid().ToString()
     });
     // 注意将编码从ASCII改为UTF8，避免JSON中特殊字符转义错误
     var data = Encoding.UTF8.GetBytes(postData);
     

完整可用代码 #

class Program
{
    static void Main(string[] args)
    {
        var request = (HttpWebRequest)WebRequest.Create("https://api-inference.huggingface.co/models/gpt2");
        request.Method = "POST";
        request.ContentType = "application/json";
        
        // 禁用客户端缓存
        request.CachePolicy = new System.Net.Cache.RequestCachePolicy(System.Net.Cache.RequestCacheLevel.NoCacheNoStore);
        request.Headers.Add("Cache-Control", "no-cache");

        // 构造请求参数
        var postData = System.Text.Json.JsonSerializer.Serialize(new
        {
            inputs = "My name is Thomas and my main",
            parameters = new
            {
                use_cache = false,
                do_sample = true,
                temperature = 0.7,
                top_p = 0.9
            },
            request_id = Guid.NewGuid().ToString()
        });
        var data = Encoding.UTF8.GetBytes(postData);

        using (var stream = request.GetRequestStream())
        {
            stream.Write(data, 0, data.Length);
        }

        var response = (HttpWebResponse)request.GetResponse();
        var responseString = new StreamReader(response.GetResponseStream()).ReadToEnd();
        Console.Write(responseString);
    }
}

注意：如果需要更高的结果随机性，可以适当调高temperature参数值（取值范围0-2），但过高的温度会导致生成内容逻辑混乱。

内容的提问来源于stack exchange，提问作者James