Sagemaker部署Hugging Face零样本分类缺失candidate_labels参数报错

报错原因 #

你使用的transformers_version='4.6.1'对应的SageMaker Hugging Face推理容器，对零样本分类任务的入参结构有固定要求：待分类文本放在inputs字段，分类标签等自定义参数必须嵌套在parameters字段下，不能直接放在请求体顶层，这就是你调整参数后依然报错的核心原因。

正确调用代码 #

predictor.predict({
    "inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
    "parameters": {
        "candidate_labels": ["refund", "consultation", "complaint"]
    }
})

补充说明 #

• 如果需要做多标签分类（即一条文本可匹配多个标签），可在parameters中新增"multi_label": True参数，返回结果会为每个标签返回独立的置信度
• 当前使用的ml.m5.xlarge为CPU实例，推理延迟较高，若需要提升推理性能可切换为ml.g4dn.xlarge等GPU实例

内容的提问来源于stack exchange，提问作者Darius