Vespa是否支持Feed Time阶段的ONNX二分类模型服务并写入文档字段？

Vespa完全支持在Feed Time阶段使用ONNX模型对提交的文档进行分类，并将分类分数写入文档字段，具体实现方式如下：

核心实现步骤 #

• 模型部署：直接将ONNX模型文件放置在Vespa应用程序包的models目录下，Vespa会自动识别并加载该模型。需在services.xml中配置模型的基础信息，包括路径、输入输出张量的类型和形状。

• Feed Time推理逻辑：通过自定义DocumentProcessor实现模型调用与字段写入。这个处理器会在文档被持久化到存储之前触发，你可以在其中完成文本预处理、模型推理、结果写入的全流程。

配置与代码示例 #

1. 放置模型文件：将你的ONNX分类模型（如text_classifier.onnx）放入应用包的models子目录。

2. 配置模型加载：在services.xml中添加模型配置节点：

<model id="text_classifier" type="onnx">
  <path>models/text_classifier.onnx</path>
  <input name="input_ids" type="tensor(int64)[1,seq_len]"/>
  <output name="logits" type="tensor(float)[1,num_classes]"/>
</model>

3. 自定义DocumentProcessor：编写Java类实现文档处理逻辑（需适配你的模型输入输出要求）：

public class ClassificationProcessor extends DocumentProcessor {
    private Model textClassifier;

    @Override
    public void initialize(Config config, ApplicationContext context) {
        // 加载预配置的ONNX模型
        textClassifier = context.getModelRegistry().getModel("text_classifier");
    }

    @Override
    public ProcessingResult process(ProcessingContext context, Document document) {
        // 获取文档中的待分类文本字段
        String content = document.getFieldValue("content").toString();
        
        // 执行文本预处理（如分词、转换为模型所需的张量格式）
        Tensor inputTensor = preprocessTextToTensor(content);
        
        // 调用模型推理
        Map<String, Tensor> outputs = textClassifier.predict(Map.of("input_ids", inputTensor));
        Tensor classificationLogits = outputs.get("logits");
        
        // 将分类结果写入文档的指定字段
        document.setFieldValue("classification_scores", classificationLogits);
        
        return ProcessingResult.ACCEPT;
    }

    // 自定义预处理方法，需根据你的模型要求实现
    private Tensor preprocessTextToTensor(String text) {
        // 示例：这里需替换为实际的分词、张量转换逻辑
        return Tensor.from("tensor(int64)[1,128]", new long[]{1, 128}, new int[]{...});
    }
}

4. 注册处理器到Feed流程：在services.xml中配置处理器链，确保它在Feed阶段被执行：

<documentprocessor id="classification-processor" class="com.yourorg.ClassificationProcessor"/>
<documentprocessing>
  <chain id="feed" inherits="default">
    <processor id="classification-processor"/>
  </chain>
</documentprocessing>

完成上述配置后，当你通过API提交文档时，Vespa会自动触发分类推理，并将结果写入文档的指定字段，再完成文档的存储。

内容的提问来源于stack exchange，提问作者standalone_2045