HuggingFace推理端点性能异常缓慢问题排查咨询

我使用HuggingFace的all-MiniLM-L6-v2模型为文本段落生成向量嵌入。因免费端点响应不足且需可扩展性，我将模型部署到HuggingFace Inference Endpoints，初始选择了最便宜的端点。

令我惊讶的是，单次计算35个嵌入的请求耗时超7秒（据HuggingFace日志）。按HuggingFace支持建议升级到2核CPU后，性能更慢（我不确定为何单请求会受益于额外CPU）。随后尝试GPU配置，请求耗时变为2秒。

这显然不合常理，每月支付超400美元却只能每秒处理少量请求，而非数千次。我肯定忽略了某些关键点，但无法确定。

我通过以下格式的curl命令提交请求：

curl https://xxxxxxxxxxxxxx.us-east-1.aws.endpoints.huggingface.cloud -X POST -d '{"inputs": ["My paragraphs are of about 200 words on average", "Another paragraph", etc.]}' -H 'Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxxxxxx' -H 'Content-Type: application/json'

附：GPU端点预热后性能有所提升，耗时降至100ms，但该模型在A100上可达每秒14200个嵌入。尽管我使用的不是A100，但每秒350个嵌入仍远低于预期。

• 最大化批量请求规模：当前单次仅传35条文本，完全没发挥GPU并行计算的优势。all-MiniLM-L6-v2属于轻量模型，一次塞几百甚至上千条文本才能让GPU的算力跑满。测试把单请求文本量提到500-1000条，再统计每秒生成的嵌入数，性能会有明显跃升。
• 多CPU核无效的原因：这类小Transformer模型的推理逻辑对单线程更友好，额外的CPU核会增加线程调度的开销，反而拖慢单请求速度，完全没必要用多核CPU端点。
• 开启动态批处理：检查GPU端点的配置，默认可能没开启动态批处理功能。开启后服务会自动把多个小请求合并成大批次处理，充分利用GPU的并行能力，提升整体吞吐量。
• 模型量化优化：把模型转换成FP16或INT8格式，能大幅减少显存占用、提升推理速度，而且对嵌入效果的影响极小。HuggingFace Inference Endpoints支持配置量化参数，直接在部署时开启即可。
• 优化请求格式：JSON格式在传输大量文本时会有额外的序列化/反序列化开销，尝试用MsgPack这类二进制格式提交请求，能减少数据传输和解析的时间损耗。
• 匹配合适的GPU实例：如果当前选的是显存大但算力一般的实例（比如部分T4配置），换用算力更高的小显存实例（如A10G），能在相同成本下获得更高的吞吐量。

内容的提问来源于stack exchange，提问作者AlwaysLearning