求Prometheus中TensorFlow Serving指标的文档及含义解析

• 直接挖源码注释：别只泛看源码，聚焦指标定义的核心文件，比如serving/core/metrics.cc、tensorflow/core/lib/monitoring下的代码，这些地方的指标定义基本都带注释，比如request_count就是统计服务接收的请求总数，request_latency_count是请求从进入到返回的整体延迟分布，runtime_latency_count专门统计模型推理阶段的延迟分布。
• 看Prometheus自带的HELP信息：打开Prometheus的metrics页面（http://<你的Prometheus地址>:端口/metrics），直接搜你关注的指标，每个指标下面的# HELP字段就是官方的简短说明，这是最直接的一手信息。
• 翻GitHub仓库的Issue和讨论：去TensorFlow Serving的GitHub仓库搜“Prometheus metrics”相关的Issue，不少用户问过类似问题，维护者的回复里经常会解释指标的含义和适用场景。
• 做小实验验证：比如手动发几次请求，看request_count的数值变化；故意给模型加推理压力，观察runtime_latency_count的分布波动，通过实际行为反推指标的作用，适合验证场景。
• 区分指标前缀：:tensorflow:cc...和:tensorflow:core...是TensorFlow底层核心组件的指标，主要反映内部运行状态；:tensorflow:serving:...才是和服务业务相关的指标，日常监控重点盯后者就够了。

内容的提问来源于stack exchange，提问作者Sahel rad