如何通过StatsD、Prometheus向Grafana发送指标描述文本？求更优方案

先说说你当前用StatsD set类型的问题：set本来是用来统计唯一值数量的，硬塞文本进去的话，Prometheus会把每条不同的文本当成一个标签值，时间长了标签基数会爆炸，拖慢Prometheus查询性能，而且旧消息会一直留在指标里没法自动清理，不太适合存事件描述文本。

下面给几个更贴合场景的方案，按需选择：

1. StatsD Gauge + 标签（推荐，适配现有架构） #

如果你的StatsD部署了StatsD-Exporter或者用的是支持标签的分支（比如DogStatsD），可以用gauge类型配合自定义标签存文本：

• 发送格式示例：events.slow_producer.desc:1|g|#msg:"kafka_producer_latency_exceed_500ms"
  这里固定gauge值为1，用msg标签存事件描述文本。
• Prometheus采集后会生成类似statsd_gauge{metric="events_slow_producer_desc",msg="kafka_producer_latency_exceed_500ms"} 1的指标。
• 在Grafana里，你可以用last_over_time(statsd_gauge{metric="events_slow_producer_desc"}[1h])取最近1小时内的最新消息，然后用文本面板或者变量把它展示在计数指标旁边。
• 额外优化：在StatsD-Exporter里配置指标过期时间，避免旧消息一直残留；或者客户端每次发送新消息时，只保留最新的一条，减少标签冗余。

2. Prometheus Textfile Exporter（适合能控制服务端的场景） #

如果生成事件的服务端你能直接操作，完全可以绕过StatsD，用textfile exporter来实现：

• 服务端每次触发慢生产者/消费者/异常事件时，把最新的事件描述写入指定目录下的Prom格式文件，比如/var/lib/textfile_collector/slow_producer.prom，内容写event_slow_producer_desc{msg="kafka_producer_latency_exceed_500ms"} 1（每次覆盖文件，只留最新一条）。
• 让Prometheus采集这个textfile exporter，Grafana里直接取这个指标的msg标签值即可。
• 优点：逻辑简单，标签基数完全可控，没有StatsD中转的额外开销。

3. Grafana Annotations（适合时间线关联需求） #

如果你的需求是把事件文本和图表时间线绑定，直接在Grafana里展示：

• 服务端触发事件时，调用Grafana的Annotations API，传入事件时间戳、描述文本、关联的面板ID。
• 事件会直接显示在对应图表的时间轴上，鼠标hover就能看到文本，不用额外查询指标。
• 缺点：需要开发调用API的逻辑，文本和时间强绑定，不是固定显示在计数旁，适合看事件时间线的场景。

总结 #

优先选StatsD Gauge+标签的方案，适配你现有StatsD+Prometheus的架构；如果能控制服务端，Textfile Exporter更简单直接；如果需要时间线关联，就用Grafana Annotations。尽量别用set类型存文本，容易引发性能问题。

内容的提问来源于stack exchange，提问作者rupweb