如何将Nginx日志中的http_duration数据写入Prometheus

前提说明：Prometheus 是面向时序指标的存储系统，原生设计不支持存储单条请求级别的明细数据，仅适合存储聚合后的统计指标。如果你的「全量http_duration数据」指的是所有请求的明细耗时，需要先做聚合处理后再上报；如果确实需要留存原始明细，建议配合 ClickHouse、Elasticsearch 等适合存储明细数据的组件使用，以下是适配 Prometheus 生态的实现方案：

方案1：扩展现有Pull模式Exporter（优先推荐） #

• 在你已有的exporter中新增nginx_http_duration_seconds Histogram类型指标，根据业务耗时分布配置合适的bucket区间，示例配置：[0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10]
• 新增Nginx日志解析逻辑，记录日志读取offset避免重复统计，每5秒拉取增量日志中的http_duration数据，批量调用Histogram的Observe()方法写入指标
• 现有Prometheus的抓取配置无需大幅调整，新增该指标的抓取规则即可，Prometheus会自动存储每个bucket的累计计数、请求总耗时、请求总数，可直接计算p50/p95/p99等百分位统计值
• 优势：无需额外引入新组件，复用现有exporter的运维体系，适配成本最低

方案2：通过Pushgateway推送聚合数据 #

• 如果你不想修改现有exporter的pull逻辑，可以单独开发轻量日志解析脚本，定时聚合Nginx日志中的http_duration数据
• 将聚合后的指标（支持Histogram/Counter/Summary类型）推送到Pushgateway，再由Prometheus统一从Pushgateway拉取指标
• 注意需要配置Pushgateway的指标过期清理规则，避免服务下线后残留无效历史指标
• 适合日志规模小、不需要高精度百分位统计的轻量场景

方案3：复用开源组件减少开发量 #

• 直接使用官方nginx-prometheus-exporter配合Nginx的ngx_http_vhost_traffic_status_module扩展模块，可直接暴露内置的http耗时统计指标，不需要自行解析日志
• 也可以使用Promtail+Loki组合存储原始日志明细，同时在Promtail中配置Metric Pipeline规则，自动解析http_duration字段生成Prometheus指标直接上报

• 禁止将单条请求的http_duration作为独立时序写入Prometheus，会导致时序基数爆炸，严重影响Prometheus的查询和存储性能
• Histogram的bucket区间需要结合业务实际耗时分布调整，区间划分越贴合实际，百分位计算的精度越高
• 生产环境建议给日志解析逻辑增加幂等校验，避免日志重复消费导致指标统计不准

内容的提问来源于stack exchange，提问作者Pengbo Wu