人工智能与机器学习原理精解【6】

数值优化

基础

• 凸函数的所有驻点都是全局极小点
• 凸函数是一个定义在某个向量空间的凸子集C上的实值函数
  
• $f^{\prime \prime }(a)\ge 0<=>凸函数$
• $f^{\prime \prime }(a)\le 0<=>凹函数$

• ${\nabla }^{2}f(a)特征值分析$
  1.点a处的海森矩阵特征值非负=>凸
  2.点a处的海森矩阵特征值非正=>凹

• 关于凸函数的二阶导数，有一个重要的性质：如果一个函数在其定义域内是二阶可导的，并且其二阶导数在该定义域内非负（即$f^{\prime \prime }(x)\ge 0$），则该函数是凸函数，在每一点都是凸的。这是判断凸函数的一个充分条件 （但不一定是必要条件，因为有些凸函数可能在其定义域内的某些点上不可导）

• ${\nabla }^{2}f(w)特征值总是非负的，则{\nabla }^{2}f(w)$是凸的

• 凸函数与凹函数与函数图像的开口方向没关系，是的！完全没关系，
  它是基于函数图像上任意两点之间的线段（割线）与函数图像本身的位置关系，而不是基于函数图像的整体形状或“开口”方向。
  凸函数在几何上表现为函数图像在其定义域内的任意两点之间的线段总是在函数图像的下方或与之相切。

• 国外定义
  - 国内定义
  

• 国外定义与我们直觉相反

• 应称为向下凹或向上凹更科学，具体叫作判断凹性
  向上凹：曲线弧位于每一点处切线的上方，$f^{\prime \prime }(x)>0$
  

向下凹：曲线弧位于每一点处切线的下方,$f^{\prime \prime }(x)<0$

• $f(w)=w^3+w^2+w是凸函数吗？$
  $$\begin{gathered} f^{\prime }(w)=3w^2+2w+1 \\ {f}^{\prime \prime }(w)=6w+2 \\ {f}^{\prime \prime }(w)不能总是保证非负性，所以不是凸函数 \\ w\ge 0=>凸函数 \\ w\le 0=>凹函数 \end{gathered}$$

理论

下面是文心一言的自动生成

凹凸性定义在国外与国内存在不同

凹凸性定义在国内外确实存在不同，这主要体现在数学领域，特别是在函数的图像描述上。

国内定义

在中国大陆的数学界，特别是高等数学教材中，对于函数凹凸性的定义通常遵循以下规则：

• 凹函数：如果对于函数f(x)在区间I上的任意两点x1和x2，以及任意λ∈(0,1)，都有$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x1)+(1-\lambda )f(x2)$，则称f(x)是I上的凹函数。直观上看，凹函数的图像在这两点之间的部分总在连接这两点的线段的下方。
• 凸函数：若上述不等式中的“≤”改为“≥”，即$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2)$，则称f(x)是I上的凸函数。直观上看，凸函数的图像在这两点之间的部分总在连接这两点的线段的上方。

此外，如果函数f(x)在区间I上二阶可导，则f(x)在区间I上是凹函数的充要条件是$f^{\prime \prime }(x)\ge 0$；f(x)在区间I上是凸函数的充要条件是$f^{\prime \prime }(x)\le 0$。

国外定义

在国外，特别是英语国家的数学教材中，对于函数凹凸性的定义往往与国内相反：

• 凸函数（Convex Function）：通常定义为函数图像在其上方形成一个凸集，即如果对于任意两点x1和x2，以及任意λ∈(0,1)，都有$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x1)+(1-\lambda )f(x2)$，则该函数被视为凸函数。这与国内定义的凹函数相似。如果函数图像在两点之间的部分总在连接这两点线段的下方，则该函数被称为凸函数。
• 凹函数（Concave Function）：则相应地，如果上述不等式反向，即$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x1)+(1-\lambda )f(x2)$，则该函数被视为凹函数。这与国内定义的凸函数相似。即函数图像在两点之间的部分总在连接这两点线段的上方。

总结

因此，可以看出国内外在函数凹凸性的定义上存在明显的差异。这种差异主要源于不同的数学传统和教材体系。在涉及跨国学术交流或阅读国外数学文献时，需要特别注意这一点，以避免混淆和误解。同时，也应注意到，在经济学等其他学科中，凹凸性的提法可能与数学教材中的定义一致或相反，具体应以该学科领域内的权威教材或规范为准。

示例与说明

以二次函数$y=x^2$为例：

• 在国内：由于其二阶导数f’'(x)=2>0，因此该函数在实数域上是凹函数。其图像是一个开口向上的抛物线，但按照国内的凹凸性定义，它被认为是凹的，因为图像位于其任意两点间连线的下方。
• 在国外：同样考虑这个函数，由于其图像是向上突出的抛物线，因此按照国际上的定义，它被认为是凸函数。

注意事项

需要注意的是，这种定义上的差异主要存在于数学领域，特别是在函数图像的凹凸性描述上。在其他学科或领域（如经济学、物理学等）中，关于凹凸性的定义可能会根据具体情况而有所不同。因此，在涉及凹凸性概念时，需要明确所处的学科背景和具体的定义方式。

此外，随着国际交流的加深和学术规范的统一，未来国内关于函数凹凸性的定义也有可能与国际接轨，但目前来说，这种差异仍然是存在的。

国内凹凸性二阶定义的例子

注意了！这一节的定义就是在中国大陆的数学界，关于函数凹凸性的定义与国外的定义是相反的
也就是说本节的凹函数是国际的定义，是国内的凸函数，凸函数是国际的定义，是国内的凹函数
凹凸性二阶定义主要基于函数的二阶导数来判断函数的凹凸性。具体来说，如果一个函数在某区间上的二阶导数大于0，则该函数在该区间内为凹函数；反之，如果二阶导数小于0，则该函数在该区间内为凸函数。以下是一些具体的例子来说明这一定义：

凹函数例子

1. 二次函数：考虑函数$f(x)=a{x}^2+bx+c$，其中$a>0$。该函数的二阶导数为$f^{\prime \prime }(x)=2a$，由于$a>0$，所以$f^{\prime \prime }(x)>0$，因此该函数在整个实数域上都是凹函数。

2. 对数函数：函数$f(x)=\ln x$（在$x>0$的区间内）。其二阶导数为$f^{\prime \prime }(x)=-\frac{1}{x^2}$，但注意这里有一个负号，不过由于我们只关心二阶导数的符号来判断凹凸性，而在$x>0$的区间内，$-\frac{1}{x^2}$始终小于0的相反情况（即绝对值大于0）实际上意味着函数图像是向上凹的（即凹函数）。然而，更准确地说，对于对数函数，我们通常直接通过其一阶导数或图像来判断其凹凸性，因为其二阶导数在定义域内始终为负，但这并不直接违背凹函数的定义（只是表述上需要注意）。实际上，对数函数在$(0,+\infty )$上是凹函数，这是基于其图像或一阶导数的性质得出的。

   注意：上述对数函数的二阶导数例子在直接判断凹凸性时可能会产生混淆，因为通常我们不会直接通过二阶导数小于0来判断一个函数为凹函数（尽管在数学上这是正确的，但习惯上我们更关注二阶导数大于0的情况作为凹函数的标志）。对于对数函数，更直观的方法是观察其图像或利用一阶导数的性质。

3. 其他凹函数：如指数函数$f(x)=e^x$（在实数域上），其二阶导数$f^{\prime \prime }(x)=e^x>0$，因此该函数在整个实数域上都是凹函数。

凸函数例子

1. 二次函数：考虑函数$f(x)=a{x}^2+bx+c$，其中$a<0$。该函数的二阶导数为$f^{\prime \prime }(x)=2a$，由于$a<0$，所以$f^{\prime \prime }(x)<0$，因此该函数在整个实数域上都是凸函数。

2. 幂函数：函数$f(x)=x^3$（在实数域上）。其二阶导数为$f^{\prime \prime }(x)=6x$。在$x<0$的区间内，$f^{\prime \prime }(x)<0$，因此该函数在$(-\infty ,0)$上是凸函数；而在$x>0$的区间内，$f^{\prime \prime }(x)>0$，但这里我们只关注凸函数的例子，所以主要提及$x<0$的情况。

3. 其他凸函数：如绝对值函数$f(x)=|x|$（在$x\ne 0$的区间内，考虑其分段定义），虽然其二阶导数在$x=0$处不存在，但通过观察图像或利用一阶导数的性质可以判断该函数在$(-\infty ,0)$和$(0,+\infty )$上都是凸函数（注意在$x=0$处需要单独考虑）。

凸函数（convex function）的开口方向

实际上，凸函数（convex function）的“开口”方向并不是传统意义上的一次函数或二次函数的“开口向上”或“开口向下”这样的直观描述所能准确涵盖的。凸函数的定义是基于函数图像上任意两点之间的线段（割线）与函数图像本身的位置关系，而不是基于函数图像的整体形状或“开口”方向。

然而，如果我们尝试用类比的方式来解释，可能会产生一些误解。在单变量函数的情况下，一个常见的误解是将凸函数与开口向上的抛物线（如$f(x)=x^2$）联系起来，而将凹函数（concave function）与开口向下的抛物线（如$f(x)=-x^2$）联系起来。但这种类比并不完全准确，因为凸函数和凹函数的定义并不依赖于函数图像是否“开口”以及“开口”的方向。

实际上，凸函数和凹函数的定义是相对的，并且与函数图像上任意两点之间的线段（割线）相对于函数图像的位置有关。具体来说：

• 凸函数：对于函数$f(x)$的定义域内的任意两点$x_1$和$x_2$（$x_1\ne x_2$）以及任意的实数$\lambda \in (0,1)$，都有

$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$

这意味着函数图像上任意两点之间的线段（割线）始终位于函数图像的上方或与其相切（但不相交于两点之间除端点外的其他点）。

• 凹函数：与凸函数相反，凹函数满足上述不等式的反向形式，即函数图像上任意两点之间的线段（割线）始终位于函数图像的下方或与其相切。

需要注意的是，这里的“上方”和“下方”是相对于函数图像而言的，而不是基于一个固定的水平轴或垂直轴来判断的。因此，说凸函数“开口向下”是不准确的，因为凸函数的定义并不涉及这样的“开口”方向。

另外，值得注意的是，在二次函数（如$f(x)=a{x}^2+bx+c$）中，当$a>0$时，函数图像是开口向上的抛物线，并且这个函数是凸函数；而当$a<0$时，函数图像是开口向下的抛物线，但这个函数是凹函数。但这只是二次函数这一特殊情况下的表现，不能推广到所有凸函数或凹函数。

凸函数的二阶导数

凸函数是数学中另一种重要的函数类型，与凹函数相对。凸函数的定义是：对于函数$f(x)$的定义域内的任意两点$x_1$和$x_2$（$x_1\ne x_2$）以及任意的实数$\lambda \in (0,1)$，都有

$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$

这样的函数被称为凸函数。

关于凸函数的二阶导数，有一个重要的性质：如果一个函数在其定义域内是二阶可导的，并且其二阶导数在该定义域内非负（即$f^{\prime \prime }(x)\ge 0$），则该函数是凸函数。这是判断凸函数的一个充分条件（但不一定是必要条件，因为有些凸函数可能在其定义域内的某些点上不可导）。

然而，需要注意的是，即使一个函数在某点处二阶导数为0，这并不意味着该函数在该点不是凸的。凸函数的定义是基于函数值与其上割线（或切线，在可导点）的比较，而不是基于二阶导数的具体值。

此外，如果函数在其定义域内二阶可导且二阶导数大于0（即$f^{\prime \prime }(x)>0$），则该函数被称为严格凸函数。

举一个凸函数的例子：函数$f(x)=x^2$是一个典型的凸函数。其二阶导数$f^{\prime \prime }(x)=2$，在实数域上恒大于0，因此它是严格凸的。

再举一个例子：函数$f(x)=\log x$（在$(0,+\infty )$上）也是凸的，尽管它的二阶导数$f^{\prime \prime }(x)=-\frac{1}{x^2}$在该区间内是负的。但这里我们直接通过凸函数的定义或利用一阶导数（如果可导）的单调性来判断其凸性，而不是依赖二阶导数。然而，对于这个函数，我们注意到它的一阶导数$f^{\prime }(x)=\frac{1}{x}$在$(0,+\infty )$上是单调递减的，这也是凸函数的一个性质（但不是充分条件）。

总之，凸函数的二阶导数在其定义域内非负是判断凸函数的一个充分条件，但不是必要条件。凸函数的定义更加广泛，可以通过比较函数值与其上割线（或切线）来判断。

凸函数的二阶定义

凸函数的二阶定义主要关注于函数的二阶导数或Hessian矩阵（对于多变量函数）的性质。以下是对凸性二阶定义的详细解释：

单变量函数的二阶定义

对于单变量函数$f(x)$，如果其在定义域内二阶可导，并且其二阶导数$f^{\prime \prime }(x)$在定义域上非负（即$f^{\prime \prime }(x)\ge 0$），则该函数是凸函数。具体来说：

• 当$f^{\prime \prime }(x)>0$时，表示函数在该点处具有正的曲率，即函数图像在该点处是上凸的（或称为下凹的，但数学上通常使用“凸”来描述这种性质）。
• 当$f^{\prime \prime }(x)=0$时，虽然二阶导数为零，但根据凸函数的定义，只要在整个定义域上满足$f^{\prime \prime }(x)\ge 0$，函数仍然是凸的。不过，这种情况下函数在该点处可能不是严格凸的。

多变量函数的二阶定义

对于多变量函数$f(x_1,x_2,...,x_n)$，其凸性的二阶定义涉及Hessian矩阵。Hessian矩阵是一个由函数二阶偏导数组成的方块矩阵，其中第$i,j$项为$\frac{{\partial }^{2}f}{\partial x_i\partial x_j}$。

• 如果函数$f$在其定义域内二阶可微，并且其Hessian矩阵在定义域内是半正定的（即对于所有$x\in \text{dom}f$，都有${\nabla }^{2}f(x)⪰0$），则该函数是凸函数。
• 需要注意的是，即使Hessian矩阵在某些点上不是正定的（即存在零特征值），只要它是半正定的，函数仍然是凸的。然而，如果Hessian矩阵在定义域内始终正定（即所有特征值均大于零），则函数是严格凸的。

凸函数的应用

凸函数的凸性质在优化问题和经济学中有广泛的应用。在优化问题中，凸优化是指在约束条件下寻找凸函数的全局最小值的问题。由于凸函数的最优解一定在定义域的边界上，这使得凸优化问题相对容易求解。在经济学中，凸性质可以用来描述效用函数、生产函数和成本函数的特性，一些重要的经济学原理和结论依赖于凸函数的性质。

综上所述，凸函数的二阶定义通过函数的二阶导数或Hessian矩阵的性质来刻画函数的凸性，这一定义在数学、优化问题和经济学等领域都具有重要的应用价值。

凸函数

凸函数（Convex Function）是数学中一个非常重要的概念，尤其在优化理论和经济学中有着广泛的应用。凸函数在几何上表现为函数图像在其定义域内的任意两点之间的线段总是在函数图像的下方或与之相切。

正式定义

设函数$f(x)$的定义域为凸集$D$（即对于任意$x_1,x_2\in D$和任意$\lambda \in [0,1]$，都有$\lambda x_1+(1-\lambda )x_2\in D$），如果对任意$x_1,x_2\in D$和任意$\lambda \in [0,1]$，都有

$$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$$

则称$f(x)$是$D$上的凸函数。

这里的不等式表示，函数在任意两点之间的线性插值总是大于或等于函数在这两点上的实际值。换句话说，函数图像上的任意两点之间的线段（称为割线）总是在函数图像的下方或与之相切。
凸函数是数学中一个重要的概念，它指的是在函数图像上任意两点之间的线段都位于函数图像上方的函数。换句话说，对于定义域内的任意两点$x_1$和$x_2$（$x_1\ne x_2$）以及任意的$\lambda \in (0,1)$，都有：

$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$

凸函数的例子

1. 线性函数：$f(x)=ax+b$（其中$a,b$为常数，且$a\ne 0$）。线性函数是最简单的凸函数，因为它满足上述凸函数的定义。

2. 二次函数（开口向上的抛物线）：$f(x)=a{x}^2+bx+c$（其中$a>0$）。这类函数在实数范围内是凸的，因为对于任意的$x_1$和$x_2$，以及任意的$\lambda \in (0,1)$，都有：

   $f(\lambda x_1+(1-\lambda )x_2)=a(\lambda x_1+(1-\lambda )x_2{)}^2+b(\lambda x_1+(1-\lambda )x_2)+c$

   经过展开和整理，可以证明它满足凸函数的定义。

3. 指数函数：$f(x)=e^x$。对于任意的$x_1$和$x_2$，以及任意的$\lambda \in (0,1)$，有：

   $f(\lambda x_1+(1-\lambda )x_2)=e^{\lambda x_1+(1-\lambda )x_2}$

   利用指数函数的性质（特别是$e^{a+b}=e^a\cdot e^b$和$e^{\lambda a}\le \lambda e^a+(1-\lambda )e^b$，当$0\le \lambda \le 1$且$a\le b$时），可以证明它是凸的。

4. 对数函数（在其定义域内）：虽然对数函数在其整个定义域内不是凸的，但在$(0,+\infty )$上是凹的，但我们可以说它在某些受限的区间（如$[a,+\infty )$，其中$a>0$）上是凸的（尽管这在实际中不常见，因为通常我们关注对数函数在$(0,+\infty )$上的凹性）。然而，为了符合题目要求，我们更常将指数函数视为凸函数的例子。

5. 绝对值函数：$f(x)=|x|$。这个函数在$x=0$处不可导，但它仍然是凸的。可以通过直接验证凸函数的定义来证明这一点。

以上是一些凸函数的例子。需要注意的是，凸函数的定义和性质在优化理论、经济学、统计学等多个领域都有广泛的应用。

直观理解：

• 如果我们在凸函数的图像上选择任意两点，并连接这两点形成一条线段（割线），那么这条线段将始终位于函数图像的下方或与之相切。
• 凸函数的这种性质使得它在优化问题中非常有用，因为局部最小值也是全局最小值（在凸函数的无约束优化问题中）。

凸函数有许多重要的性质，例如：

• 一阶条件：如果$f(x)$是可微的凸函数，那么对于定义域内的任意$x,y$，都有$f(y)\ge f(x)+\nabla f(x{)}^T(y-x)$。
• 二阶条件：如果$f(x)$是二阶可微的凸函数，那么它的Hessian矩阵（二阶导数矩阵）在定义域内是半正定的。
• 下界性质：凸函数的全局最小值可以通过求解其一阶导数为零的点（如果存在）或考虑其定义域的边界点来找到。

凸函数在优化理论中非常有用，因为许多非凸优化问题可以通过一系列凸优化问题来近似求解。此外，凸函数还与凸集、凸规划等概念紧密相连，在经济学、工程学、统计学等领域有着广泛的应用。

凹函数

凹函数（Concave Function）是数学优化理论中的一个重要概念，与凸函数相对应。凹函数在几何上表现为函数图像在其定义域内的任意两点之间的线段总是在函数图像的上方或与之相切。

正式定义

设函数$f(x)$的定义域为凸集$D$，如果对任意$x_1,x_2\in D$和任意$\lambda \in [0,1]$，都有

$$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2)$$

则称$f(x)$是$D$上的凹函数。

这里，$\lambda x_1+(1-\lambda )x_2$表示$x_1$和$x_2$之间的线性插值，而$\lambda f(x_1)+(1-\lambda )f(x_2)$则表示$f(x_1)$和$f(x_2)$之间的线性插值。凹函数的定义要求函数值在任意两点之间的线性插值总是小于或等于函数在这两点上的实际值。

直观理解：

• 如果我们在凹函数的图像上选择任意两点，并连接这两点形成一条线段，那么这条线段将始终位于函数图像的上方或与之相切。
• 与凸函数相反，凸函数的图像在其定义域内的任意两点之间的线段总是在函数图像的下方或与之相切。

凹函数在优化问题中扮演着重要角色，尽管它们可能不像凸函数那样具有所有理想的优化性质（如全局最优解的唯一性），但在某些情况下，凹函数仍然可以被有效地优化。此外，凹函数与凸函数之间存在紧密的联系，例如，一个函数的负值如果是凸的，则该函数本身是凹的。

需要注意的是，凹函数的定义有时会根据上下文的不同而有所变化。在某些情况下，凹函数可能被定义为满足上述不等式条件但定义域不一定是凸集的函数。然而，在优化理论中，我们通常要求定义域是凸集，以确保优化问题的良好性质。
凹函数（也称为上凸函数）是数学中一种重要的函数类型，其定义是：对于函数$f(x)$的定义域内的任意两点$x_1$和$x_2$（$x_1\ne x_2$）以及任意的实数$\lambda \in (0,1)$，都有

$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2)$

这样的函数被称为凹函数。

凹函数的例子

1. 线性函数：虽然线性函数（如$f(x)=ax+b$，其中$a$和$b$是常数）在严格意义上既不是凹函数也不是凸函数（它们被称为仿射函数），但我们可以认为它们是“平”的，即既不凹也不凸。然而，为了给出凹函数的直观例子，我们可以稍微修改它，比如考虑一个向下倾斜的线性函数（斜率为负），在局部小范围内，它可以被视为凹函数的一部分，尽管在整个定义域上它不是。但更典型的凹函数例子如下。

2. 二次函数（开口向下的）：函数$f(x)=-x^2$是一个典型的凹函数。对于任意的$x_1$和$x_2$以及$\lambda \in (0,1)$，我们有

$f(\lambda x_1+(1-\lambda )x_2)=-(\lambda x_1+(1-\lambda )x_2{)}^2$

$=-{\lambda }^2{x}_1^2-2\lambda (1-\lambda )x_1{x}_2-(1-\lambda {)}^2{x}_2^2$

$\ge -\lambda x_1^2-(1-\lambda )x_2^2$

$=\lambda f(x_1)+(1-\lambda )f(x_2)$

这里的不等式成立是因为我们加上了额外的非正项$-2\lambda (1-\lambda )x_1{x}_2$（当且仅当$x_1=x_2$时取0）。

3. 对数函数（在某些区间内）：虽然对数函数（如$f(x)=\log x$）在其整个定义域$(0,+\infty )$上不是凹函数，但在任何有限区间$(a,b)$（其中$0<a<b$）上，它是凹的。这是因为对数函数的二阶导数在该区间内是负的。

4. 负指数函数：函数$f(x)=e^{-x}$是一个在整个实数域上都是凹的函数。其二阶导数$f^{\prime \prime }(x)=e^{-x}$总是正的（但注意这里我们说的是“负的指数函数”，即底数为正但指数为负的指数函数，它与通常说的“指数增长”函数相反）。然而，这里的描述可能有些误导，因为“负指数函数”通常指的是形如$f(x)=a^{-x}$（其中$a>1$）的函数，这类函数在$(-\infty ,+\infty )$上也是凹的。但更标准的例子是$f(x)=e^{-x}$。

综上所述，凹函数的例子包括但不限于开口向下的二次函数、在有限区间内的对数函数以及负指数函数（如$f(x)=e^{-x}$）。

函数的凹凸性

凸函数是数学中的一个重要概念，尤其在优化理论和经济学中有着广泛的应用。下面，我们将详细解释凸函数的定义、性质以及判断方法。

在优化理论中，函数的凹凸性是一个重要的概念，它决定了函数在特定区间上的行为以及优化问题的性质。下面我们将分别解释凸函数、凹函数、拟凸（凹）函数和伪凸（凹）函数的概念。

凸函数（Convex Function）

定义：设函数$f(x)$的定义域为凸集$D$，如果对任意$x_1,x_2\in D$和任意$\lambda \in [0,1]$，都有

$$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2)$$

则称$f(x)$是$D$上的凸函数。

直观理解：在凸函数上任意两点之间的线段总是在函数图像之上或与之相切。

凹函数（Concave Function）

定义：凹函数是凸函数的相反概念。设函数$f(x)$的定义域为凸集$D$，如果对任意$x_1,x_2\in D$和任意$\lambda \in [0,1]$，都有

$$f(\lambda x_1+(1-\lambda )x_2)\ge \lambda f(x_1)+(1-\lambda )f(x_2)$$

则称$f(x)$是$D$上的凹函数。

直观理解：在凹函数上任意两点之间的线段总是在函数图像之下或与之相切。

拟凸函数（Quasiconvex Function）

定义：设函数$f(x)$的定义域为凸集$D$，如果对任意$x_1,x_2\in D$和任意$\lambda \in (0,1)$，只要$f(x_1)\le f(x_2)$，就有

$$f(\lambda x_1+(1-\lambda )x_2)\le f(x_2)$$

则称$f(x)$是$D$上的拟凸函数。

直观理解：拟凸函数在任意方向上都是“单调不减”的，即如果函数在某一点取得较小值，则在该点与任何其他点的连线上的所有点都不会取得更小的值。

拟凹函数（Quasiconcave Function）

拟凹函数是拟凸函数的相反概念，即如果$f(x)$是拟凸的，那么$-f(x)$就是拟凹的。

伪凸函数（Pseudoconvex Function）

定义：设函数$f(x)$的定义域为凸集$D$，如果对任意$x_1,x_2\in D$，只要$f(x_1)<f(x_2)$，就存在某个向量$d$使得

$$f(x_1+\alpha d)<f(x_1)\text{对所有}\alpha >0\text{且}{x}_1+\alpha d\in D$$

且

$$f(x_2{)}^{T}d\le 0$$

则称$f(x)$是$D$上的伪凸函数。

注意：伪凸函数的定义可能因文献而异，上述定义是一种较为常见的形式。伪凸函数在优化中具有一定的应用，但其性质比凸函数更为复杂。

伪凹函数（Pseudoconcave Function）

伪凹函数是伪凸函数的相反概念，即如果$f(x)$是伪凸的，那么$-f(x)$就是伪凹的。

总结来说，凸函数和凹函数是优化理论中最为基础和重要的概念，它们具有良好的性质，使得许多优化问题可以转化为凸优化问题来求解。拟凸函数和伪凸函数则是对凸函数概念的推广，它们在更广泛的函数类中仍然保持了一定的优化性质。

参考文献

• 《机器学习精讲 基础、算法与应用》
• 文心一言