是否需要为所有基于梯度下降的算法考虑特征缩放？

嘿，这个问题问到点子上了！答案是不是必须所有情况都做，但绝大多数依赖梯度下降的算法场景里，特征缩放都是非常值得做的优化，尤其是当你的特征之间数值范围差异悬殊的时候（比如一个特征是用户年龄0-100，另一个是用户年收入0-1000000）。

我刚好记得Andrew Ng在Coursera《机器学习》的多元线性回归章节里，专门针对梯度下降给出过相关的实操建议，整理一下：

为什么要做特征缩放？ #

核心目的就是加快梯度下降的收敛速度。如果特征尺度差异大，代价函数的等高线会变得非常“扁长”，这时候梯度下降会在等高线之间绕很多之字形的弯路，要迭代很多次才能收敛到最优解；而经过缩放后，特征尺度相近，等高线会更接近圆形，梯度下降能更直接地朝着最小值方向前进。

吴恩达推荐的特征缩放方法 #

• 把特征调整到大致-1 < x < 1的范围：不用严格卡死这个区间，比如0-2或者-0.5-0.5这种相近的尺度也完全没问题，核心是让所有特征的数值量级保持一致；
• 均值归一化：公式大概是x = (x - μ) / (max - min)，先把特征的均值平移到0，再缩放特征的范围，这比单纯的缩放效果更好，能进一步优化梯度下降的收敛效率。

梯度下降的配套调试建议（吴恩达补充） #

除了特征缩放，还有这些技巧能帮你确保梯度下降正常工作：

• 绘制代价函数J(θ)与迭代次数的关系图：正常情况下，每一轮迭代后J都应该持续下降；如果出现上升或者震荡，说明你的学习率α太大了，得调小；
• 如果收敛速度过慢（比如迭代了上千次J还没稳定下来），可以尝试增大学习率α；
• 提前设定收敛阈值：比如当J的变化量小于1e-3的时候，就可以认为已经收敛到足够接近最优解的位置了，不用再继续迭代。

什么时候可以不用特征缩放？ #

如果你的所有特征本身数值尺度就非常接近（比如都是0-1的归一化数据，或者都是以厘米为单位的长度特征），这时候梯度下降的收敛速度已经比较理想，特征缩放带来的收益就很小，这时候可以考虑不做。

内容的提问来源于stack exchange，提问作者Chris Snow