Apache Bench测试时Time per Request随并发数升高下降原因咨询

结论 #

• 该现象不属于Apache Bench（ab）的工具Bug，是指标统计规则和服务端性能特性共同导致的正常表现。

核心原因分析 #

1. 指标统计逻辑差异 #

ab输出包含两类Time per request指标，你测试结果中展示的是标注了(mean, across all concurrent requests)的跨并发平均统计值，计算公式为：
Time per request（跨并发平均） = 总测试耗时 / 总请求数
这个指标本质是服务端吞吐量（QPS）的倒数，数值越小代表服务端单位时间内能处理的请求越多。
另一类用户视角的单请求平均耗时指标，计算公式为总测试耗时 / (总请求数 / 并发数)，代表单个用户发起请求到获得响应的平均等待时间，该指标一般会随着并发升高而上升，和你观测到的趋势完全相反。

2. 服务端资源利用特性 #

低并发场景下，服务端CPU、内存、网络、磁盘IO等资源存在大量空闲，整体处理能力没有被充分释放，吞吐量（QPS）较低，对应你看到的跨并发平均耗时就偏高。
随着并发数逐步提升，服务端资源利用率不断升高，吞吐量持续上涨，作为QPS倒数的跨并发平均耗时自然会同步下降，直到服务端达到性能瓶颈后，该指标会停止下降，若并发继续升高还会因为资源阻塞出现反弹上升。

验证方法 #

你可以查看每次ab测试输出的Requests per second指标，该指标的上升趋势会和你观测到的Time per request下降趋势完全对应，即可确认是正常性能表现。

内容的提问来源于stack exchange，提问作者Vishnukk