关于利用直线限制法证明函数凸性的疑问（含定义域非全空间的实例困惑）

嗨，我来帮你理清这个困惑～其实你之前对直线限制法的条件理解有点偏差，咱们一步步拆解：

首先，先明确直线限制法的准确规则：一个函数$f$在它的定义域$\text{dom }f$上是凸函数，当且仅当：

• 对于所有$x \in \text{dom }f$，以及所有$v \in \mathbb{R}^{n$（注意是整个$\mathbb{R}}n$，不是只限于$\text{dom }f$里的向量），
• 存在一个包含0的开区间$I$（这个区间的大小取决于$x$和$v$），使得对所有$t \in I$，$x + tv \in \text{dom }f$，
• 并且定义在$I$上的函数$g(t) = f(x + tv)$是凸函数。

你之前的误区在于，误以为$v$必须属于$\mathbb{R}^{2_{++}$，或者要求$x+tv$对所有$t$都在定义域里——但其实完全不是这样！我们只需要保证$t$在0附近的一个小范围内，让$x+tv$落在定义域里就行，$v$可以是$\mathbb{R}}2$里的任意向量，哪怕是负方向的。

拿你举的例子$f(x) = x_1x_2$，$\text{dom }f = \mathbb{R}^2_{}$来说：
比如我们取$x=(2,3)$（显然在定义域里），再取$v=(1,-1)$（这个向量不在$\mathbb{R}^2_{}$里），那$x+tv=(2+t, 3-t)$。要让这个点在$\text{dom }f$里，只需要$2+t>0$且$3-t>0$，也就是$t \in (-2,3)$——这个区间包含0，完全符合要求。

此时$g(t)=(2+t)(3-t) = -t^2 + t + 6$，它的二阶导数$g''(t) = -2 < 0$，说明$g(t)$在$(-2,3)$上是凹函数，不是凸函数。根据直线限制法的规则，只要存在这样一组$x$和$v$，使得对应的$g(t)$不是凸的，就能直接判断$f$不是凸函数，这和我们已知的结论一致。

再回头看你之前的推导：当你只考虑$v \in \mathbb{R}^2_{++}$时，$g''(t)=2v_1v_2>0$，会错误认为$f$是凸的，但这是因为你人为缩小了$v$的范围，忽略了那些会让$g(t)$凹下去的负方向向量。

最后再提炼几个关键点帮你记忆：

• $v$是$\mathbb{R}^n$中的任意向量，不需要属于$\text{dom }f$；
• 只需要关注$t$在0附近的可行区间（保证$x+tv$在定义域内），不用管$t$取所有值；
• 凸函数的判断要求所有符合条件的$g(t)$都是凸的，只要有一个$g(t)$不是，就能推翻$f$的凸性。

备注：内容来源于stack exchange，提问作者Peregrint