作为一名视觉学习者，我希望能得到一些概念性的解释，说明为什么方程$A^TAx=ATb$成立，并且等价于最小二乘近似中的$Ax = b$。

如果答案能结合线性变换来讲解就更好了。

我提出这个问题的原因之一是：对于普通方程$Ax=b$，我们可以两边同时乘以A的逆矩阵来求解；但在最小二乘问题中，我们却是乘以A的转置。我理解前者的概念直觉，但希望能搞懂后者的逻辑——这两者之间有没有什么联系呢？

这个方程对于想要将线性代数应用到统计学领域的人来说非常重要，所以如果能得到一个令人满意的解答，我会非常感激。

谢谢！

备注：内容来源于stack exchange，提问作者AviPraMar