优化算法中“cache the residuals”是什么意思？如何避免残差重复计算？

cache the residuals的具体含义 #

Netflix挑战赛的主流落地方案是增量式训练的矩阵分解模型，逻辑为每次单独训练1个隐特征，所有特征的预测贡献加总即为最终的用户评分预测值。
这里的residuals（残差）指用户真实评分减去所有已经训练完成的隐特征的预测贡献后，剩余的差值，也是下一个新隐特征的训练拟合目标。
cache the residuals就是把这部分已经计算完成的残差直接存在内存中，不需要每次训练新特征时都重新跑一遍所有历史特征的预测逻辑。你看到的原文提到1亿个残差需要2G内存符合实际情况：单精度浮点数每个占4字节，1亿个残差本体仅占400MB左右，搭配其他辅助数据2G内存完全可以支撑。

原文对应描述：为了提升效率，请cache the residuals（总数为1亿个），这样在训练第72个特征时，你无需等待predictRating()重新计算前71个特征的贡献。要实现这一点，你需要2 Gig of ram、一个C compiler以及良好的编程习惯。

修改参数时避免全量重算残差的方法 #

只要遵循增量更新逻辑，就不需要每次调整参数都重新计算所有历史特征的结果：

• 新增隐特征时，直接用当前缓存的残差作为训练目标，新特征训练完成后，用缓存的残差直接减去新特征的预测贡献，得到的新残差覆盖原有缓存即可，前面所有已训练特征的计算结果完全不需要改动
• 如果是调整已经训练完成的某个旧隐特征的参数，不需要动其他特征对应的残差：先把这个旧特征之前的预测贡献加回当前缓存的残差，用调整后的参数重新计算该特征的贡献，再从残差里减去新的贡献就完成了更新，其余所有特征的计算结果都不需要重算
• 注意predictRating()函数不要每次都从头累加所有特征的贡献，改成直接取缓存的残差加当前训练特征的贡献即可，运算量可以从O(K)（K为已训练特征总数）降到O(1)

内容的提问来源于stack exchange，提问作者Neggor