如何基于时间与缓存命中/未命中率决策缓存是否值得使用？

核心思路 #

通过对比「尝试加载缓存」和「直接生成页面」两种策略的平均耗时，判断哪种更划算。

关键计算值 #

先基于现有统计变量计算命中率：

• 总请求次数：total = hit + miss
• 缓存命中率：p_hit = hit / total
• 缓存未命中率：p_miss = miss / total = 1 - p_hit

两种策略的平均耗时 #

1. 尝试加载缓存的平均耗时
   命中时耗时为time_check，未命中时总耗时为time_check + time_generate，因此平均耗时为：

   avg_time_cache = p_hit * time_check + p_miss * (time_check + time_generate)
   

   化简后：

   avg_time_cache = time_check + p_miss * time_generate
   

2. 直接生成页面的平均耗时
   固定为time_generate

决策条件 #

当「尝试加载缓存的平均耗时」小于「直接生成的耗时」时，才值得尝试加载缓存。代入上面的式子推导：

time_check + p_miss * time_generate < time_generate

移项化简后得到最终判断条件：

time_check < p_hit * time_generate

替换p_hit的计算式，也可以写成：

time_check < (hit / (hit + miss)) * time_generate

逻辑验证 #

• 当time_generate < time_check时，右边p_hit * time_generate ≤ time_generate < time_check，不等式不成立，符合你提到的「无需使用缓存」的结论。
• 当time_check远小于time_generate且命中率较高时，不等式会成立，此时尝试缓存能显著降低平均耗时。

额外注意 #

因为算法在至少100次加载后运行，hit + miss的样本量足够，命中率的统计结果具备参考性，无需担心样本偏差问题。

内容的提问来源于stack exchange，提问作者PlugN