梯度是列向量还是行向量？关于映射$f:\mathbb{R^2}\rightarrow \mathbb{R}$的梯度维度问询

嘿，这两个问题其实是很多刚接触多元微积分、优化或者机器学习的同学都会纠结的点，我来给你掰扯清楚~

问题1：梯度（gradient）是列向量还是行向量？ #

其实这个问题没有绝对统一的标准答案，完全取决于你所在的领域、使用的教材或者工具的约定：

• 在不少经典微积分教材里，梯度会被定义为列向量，比如把函数$f(x_1,x_2,...,x_n)$的梯度写成：
  $$\nabla f = \begin{bmatrix} \frac{\partial f}{\partial x_1} \ \frac{\partial f}{\partial x_2} \ \vdots \ \frac{\partial f}{\partial x_n} \end{bmatrix}$$
  这种定义更贴合“向量指向函数增长最快方向”的几何直觉，和空间中的位置向量维度一致。
• 但在优化、机器学习领域，有时候会把梯度定义为行向量，比如：
  $$\nabla f = \begin{bmatrix} \frac{\partial f}{\partial x_1} & \frac{\partial f}{\partial x_2} & \dots & \frac{\partial f}{\partial x_n} \end{bmatrix}$$
  这么做主要是为了方便后续的矩阵运算，比如和输入的列向量做内积或者乘法。

核心是：只要在同一个语境下保持一致的约定，就不会出问题。

问题2：已知映射$f:\mathbb{R^2}\rightarrow \mathbb{R}$，输入是列向量（2×1矩阵），梯度$\nabla f$是否为行向量？ #

这种情况下，把$\nabla f$定义为行向量是完全合理的，原因主要有两个：

1. 方向导数的计算匹配
   方向导数的定义是$D_v f(x) = \lim_{t\rightarrow 0} \frac{f(x+tv)-f(x)}{t}$，它本质是一个标量。如果输入$x$是列向量，方向向量$v$也是列向量，那么把$\nabla f(x)$定义为行向量的话，方向导数就可以直接用矩阵乘法表示：$D_v f(x) = \nabla f(x) \cdot v = \nabla f(x) v$（行向量乘列向量得到标量），完全符合方向导数的标量结果。
2. 全微分的形式一致性
   函数$f$的全微分$df = \frac{\partial f}{\partial x_1}dx_1 + \frac{\partial f}{\partial x_2}dx_2$，如果把$dx = \begin{bmatrix} dx_1 \ dx_2 \end{bmatrix}$（列向量），那么$\nabla f$作为行向量的话，全微分就可以写成矩阵乘法形式：$df = \nabla f(x) dx$，这和线性映射的表示方式完全一致（线性函数用行向量表示，作用在列向量上得到标量）。

简单说，这种定义是为了让微积分里的核心运算（方向导数、全微分）和线性代数的矩阵运算规则完美适配，避免额外的转置操作，让推导和计算更顺畅。

内容的提问来源于stack exchange，提问作者user415535