缓存命中率与系统性能非线性关系的原理疑问

你推导的平均访问延迟公式本身是对的，但你漏了两个关键前提，才会得出“线性关系”的结论：

• 你用绝对平均访问延迟作为性能度量值，这个指标确实随命中率线性变化，但工业界谈“性能差异”时，用的从来不是绝对延迟差，而是和延迟成反比的相对吞吐/性能倍数——延迟降低一半，等价于同负载下服务能力提升一倍，这才是实际能感知到的性能变化。
• 你设定的命中/未命中速度差太小，和真实系统的存储层级差距不在一个量级，非线性特征被弱化了。

具体推导验证 #

我们还是用你设定的参数：命中开销f(hit)=10，未命中开销f(miss)=100（10倍差距），平均延迟公式确实是线性的：
avg_latency(h) = h*10 + (1-h)*100
但如果用「相对性能」做指标（以100%命中时的性能为基准1，值越高性能越好），公式就变成了非线性的双曲线：
perf(h) = 10 / avg_latency(h)

我们分别算两个命中率区间的性能提升幅度：

1. 命中率从10%提升到11%
   • 平均延迟从91降到90.1
   • 相对性能从10/91≈0.110涨到10/90.1≈0.111
   • 提升幅度仅1%左右
2. 命中率从98%提升到99%
   • 平均延迟从11.8降到10.9
   • 相对性能从10/11.8≈0.847涨到10/10.9≈0.917
   • 提升幅度超过8%，已经远大于低命中率区间的收益

如果换成真实系统的存储层级速度差，这个非线性特征会更夸张。比如CPU L1缓存命中延迟约1ns，内存访问延迟约100ns（100倍差距）：

• 命中率10%→11%：性能提升约1.1%，几乎感知不到
• 命中率98%→99%：平均延迟从2.98ns降到1.99ns，性能直接提升50%，属于质的飞跃
  如果是内存和SSD的层级（延迟差1000倍），98%到99%命中率的性能提升接近90%，相当于直接把性能翻了近一倍。

本质原因 #

当命中率处于低位时，绝大多数访问都是未命中的慢路径，多1%的命中只是替换了极小一部分慢请求，收益被占绝对多数的慢访问稀释了。
当命中率接近100%时，慢路径访问的占比已经极低，每提升1%命中率，相当于把慢路径的占比砍掉很大一块（比如从2%降到1%就是直接砍半），对整体性能的拉升效果自然会被急剧放大，这就是书中描述的“高命中率区间斜率更陡峭”的非线性来源。

内容的提问来源于stack exchange，提问作者Tejas Sharma