如何让Hugging Face推理API返回微调Wav2Vec2模型的Logits？

有效解决方案 #

1. 调用推理API时直接传入参数 #

向推理API发送请求时，在JSON请求体里明确指定返回logits的参数：

{
  "inputs": "你的音频数据（如base64编码格式）",
  "parameters": {
    "function_to_apply": "none",
    "return_logits": true
  }
}

注意：音频输入需符合API要求，比如用base64编码或直接传音频字节流。

2. 修正README.md中的推理配置 #

之前的配置缺少pipeline类型指定，导致未生效，更新后的完整配置如下：

inference:
  pipeline: automatic-speech-recognition
  parameters:
    function_to_apply: none
    return_logits: true

更新后重新提交模型到Hugging Face Hub，确保配置被系统正确识别。

3. 推理端点部署时配置参数 #

如果是通过Hugging Face Inference Endpoints部署模型：

• 进入端点的Settings页面
• 在Inference Parameters区域添加两个参数：
  • function_to_apply: none
  • return_logits: true
• 保存设置后重启端点，后续请求会按配置返回logits。

关键说明 #

Wav2Vec2的ASR Pipeline默认会对logits执行CTC解码生成最终文本，必须明确禁用解码逻辑并指定返回logits的参数才能拿到原始logits数据；部分旧版本推理API对参数支持有限，建议使用最新版API。

内容的提问来源于stack exchange，提问作者ct-vikramanantha