如何配置SageMaker Triton推理配置文件？相关疑问及文本输入配置

一、核心参数疑问解答 #

• dims（维度）：并非输入数组的元素总数，它代表单条样本的张量形状（不含batch维度）。比如示例中dims: [128]，指单条输入的token_ids是长度为128的一维数组；输出dims: [128, 384]表示单条样本的输出是128×384的二维张量。Triton会自动在张量前添加batch维度，用于处理批量请求。
• max_batch_size：表示Triton服务允许处理的最大批量样本数量。客户端发送的批量请求样本数若超过该值，服务会直接拒绝；若小于等于该值，Triton会将样本打包为一个batch执行推理，以此提升处理效率。示例设置为16，即一次最多处理16条样本的批量请求。
• CPU实例的instance_group配置：将kind设为KIND_CPU后，无需手动指定CPU核心数。Triton会自动适配当前实例的CPU资源；也可通过count参数手动设置启动的CPU推理实例数（如count: 4），但通常推荐让Triton自动分配资源。

二、文本输入+服务端分词的config.pbtxt配置方案 #

若要直接接收文本输入并在服务端完成分词，需借助Triton的Python后端模型或Ensemble模型整合分词逻辑，以下是Python后端的配置示例：

1. 模型目录结构 #

需遵循Triton的模型目录规范：

text-bert/
├── 1/
│   └── model.py  # 实现分词预处理+调用TensorRT模型的逻辑
└── config.pbtxt

2. config.pbtxt配置代码 #

name: "text-bert"
platform: "python"
max_batch_size: 16
input [
  {
    name: "text_input"
    data_type: TYPE_STRING
    dims: [1]  # 单条样本为单个字符串，维度设为1
  }
]
output [
  {
    name: "embedding_output"
    data_type: TYPE_FP32
    dims: [128, 384]  # 与原TensorRT模型的输出维度保持一致
  }
]
instance_group [
  {
    kind: KIND_CPU  # CPU实例设为KIND_CPU，GPU实例则设为KIND_GPU
    # count: 2  # 可选参数，手动指定推理实例数量，按需配置
  }
]
dynamic_batching {
  preferred_batch_size: [8, 16]  # 可选，优化批量处理的偏好batch大小
}

3. 关键说明 #

• 输入data_type设为TYPE_STRING以支持文本输入，dims: [1]对应单条输入为单个字符串，批量请求时Triton会自动处理batch维度。
• 平台指定为python，需在model.py中实现分词逻辑（例如调用Hugging Face Tokenizer），将处理后的token_ids传入TensorRT模型完成推理。
• 若使用Ensemble模型，需分别配置分词预处理模型（Python后端）和TensorRT推理模型，再在Ensemble的config中定义数据流：文本输入→分词模型→TensorRT模型→输出结果。

内容的提问来源于stack exchange，提问作者luwa