凸集和凸函数

今天是春分，春分快乐~

​ ———— 谁把春光，平分一半，最惜今朝。

1. 凸集

1.1 凸集的定义

设集合 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n ，如果对于任意的 x,y∈D\boldsymbol{x}, \boldsymbol{y} \in \boldsymbol{D} 与任意的 α∈[0,1]\alpha \in[0,1],有 αx+(1−α)y∈D\alpha \boldsymbol{x}+(1-\alpha) \boldsymbol{y} \in \boldsymbol{D} ，则称 D\boldsymbol{D} 是凸集（convexsetconvex \quad set）。

凸集的几何意义是：如果两个点属于此集合，则这两点连线上的 任意一点均属于此集合。

定义推广：D\boldsymbol{D} 是凸集的充分必要条件是：

对任意∀m⩾2,∀x1,x2,⋯ ,xm∈D,∀α1,α2,⋯ ,αm\forall m \geqslant 2, \forall \boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_m \in \boldsymbol{D}, \forall \alpha_1, \alpha_2, \cdots, \alpha_m ，其中 αi⩾0\alpha_i \geqslant 0 (i=1,2,⋯ ,m)(i=1,2,\cdots,m) 且 ∑i=1mαi=1\sum_{i=1}^m \alpha_i = 1 ，均有：

α1x1+α2x2+⋯+αmxm∈D\alpha_1 \boldsymbol{x}_1+\alpha_2 \boldsymbol{x}_2+\cdots+\alpha_m \boldsymbol{x}_m \in \boldsymbol{D}

1.2 凸集的性质

设 D1,D2⊂Rn\boldsymbol{D}_1, \boldsymbol{D}_2 \subset \mathbb{R}^n 是凸集， α∈R\alpha \in \mathbb{R} ，则有：

  • D1∩D2={x∣x∈D1,x∈D2}\boldsymbol{D}_1 \cap \boldsymbol{D}_2=\left\{\boldsymbol{x} \mid \boldsymbol{x} \in \boldsymbol{D}_1, \boldsymbol{x} \in \boldsymbol{D}_2\right\} 是凸集。
  • αD1={αx∣x∈D1}\alpha \boldsymbol{D}_1=\left\{\alpha \boldsymbol{x} \mid \boldsymbol{x} \in \boldsymbol{D}_1\right\} 是凸集。
  • D1+D2={x+y∣x∈D1,y∈D2}\boldsymbol{D}_1+\boldsymbol{D}_2=\left\{\boldsymbol{x}+\boldsymbol{y} \mid \boldsymbol{x} \in \boldsymbol{D}_1, \boldsymbol{y} \in \boldsymbol{D}_2\right\} 是凸集。
  • D1−D2={x−y∣x∈D1,y∈D2}\boldsymbol{D}_1-\boldsymbol{D}_2=\left\{\boldsymbol{x}-\boldsymbol{y} \mid \boldsymbol{x} \in \boldsymbol{D}_1, \boldsymbol{y} \in \boldsymbol{D}_2\right\} 是凸集。

注意：这里要明确一点凸集的加减法和集合中的加减法完全是两件事情，比如说即使 D1=D2\boldsymbol{D}_1=\boldsymbol{D}_2 ，那么 D1−D2≠∅\boldsymbol{D}_1-\boldsymbol{D}_2 \neq \varnothing ，甚至结果的测度要比原来的 D1\boldsymbol{D}_1 更大。给出其中一个性质的证明有利于更好地理解凸集加减法的运算：

证明：设 D1,D2⊂Rn\boldsymbol{D}_1, \boldsymbol{D}_2 \subset \mathbb{R}^n 是凸集，则 D1+D2={x+y∣x∈D1,y∈D2}\boldsymbol{D}_1 + \boldsymbol{D}_2=\left\{\boldsymbol{x}+\boldsymbol{y} \mid \boldsymbol{x} \in \boldsymbol{D}_1, \boldsymbol{y} \in \boldsymbol{D}_2\right\} 也是凸集。

不妨设：$\boldsymbol{D}_1 + \boldsymbol{D}_2 = \boldsymbol{Z} $ ，任取 z∈Z,z′∈Z\boldsymbol{z}\in \boldsymbol{Z}, \boldsymbol{z}'\in \boldsymbol{Z} ，则有：

x+y=z,x′+y′=z′\boldsymbol{x} + \boldsymbol{y} = \boldsymbol{z},\boldsymbol{x}' + \boldsymbol{y}' = \boldsymbol{z}'

其中 x,x′∈D1;y,y′∈D2\boldsymbol{x}, \boldsymbol{x}'\in \boldsymbol{D_1}; \boldsymbol{y},\boldsymbol{y}' \in \boldsymbol{D_2}

所以对于任意 α∈[0,1]\alpha \in [0,1] 有：αz+(1−α)z′=α(x+y)+(1−α)(x′+y′)=αx+(1−α)x′+αy+(1−α)y′\alpha\boldsymbol{z} + (1-\alpha)\boldsymbol{z'} = \alpha(\boldsymbol{x}+\boldsymbol{y})+(1-\alpha)(\boldsymbol{x'}+\boldsymbol{y'})=\alpha\boldsymbol{x}+(1-\alpha)\boldsymbol{x'}+\alpha\boldsymbol{y}+(1-\alpha)\boldsymbol{y'}

而 αx+(1−α)x′∈D1\alpha\boldsymbol{x}+(1-\alpha)\boldsymbol{x'}\in \boldsymbol{D_1} ， αy+(1−α)y′∈D2\alpha\boldsymbol{y}+(1-\alpha)\boldsymbol{y'}\in \boldsymbol{D_2}。

所以：αz+(1−α)z′∈D1+D2=Z\alpha\boldsymbol{z}+(1-\alpha)\boldsymbol{z'}\in \boldsymbol{D_1} + \boldsymbol{D_2} = \boldsymbol{Z} 。

1.3 内点、边界、闭包

内点：给定 D⊂Rn,x∈Rn\boldsymbol{D} \subset \mathbb{R}^n, \boldsymbol{x} \in \mathbb{R}^n 。若存在 x\boldsymbol{x} 的 δ\delta 邻域 Nδ(x)={y∣∥y−x∥<δ}⊂N_\delta(\boldsymbol{x})=\{\boldsymbol{y} \mid\|\boldsymbol{y}-\boldsymbol{x}\|<\delta\} \subset DD ，则称 xx 为 DD 的内点; 所有内点组合成的集合记为 intDi n t D 。

边界：若 x\boldsymbol{x} 的任意 δ\delta 邻域 Nδ(xN_\delta(\boldsymbol{x} )既包含 D\boldsymbol{D} 中的点, 又包含不属于 D\boldsymbol{D} 的点, 则称 xx 为 DD 的边界点; 所有边界点组成的集合记为 ∂D\partial \boldsymbol{D} 。

闭包：若对任意 δ>0\delta>0 均有 Nδ(x)∩D≠∅N_\delta(\boldsymbol{x}) \cap \boldsymbol{D} \neq \varnothing, 则称 x\boldsymbol{x} 属于集合的闭包, 记为 x∈clDx \in c l D​ 。

根据以上定义可知，集合 D\boldsymbol{D} 的闭包 cD=D∪∂Dc \boldsymbol{D}=\boldsymbol{D} \cup \partial \boldsymbol{D}, 它是包含集合 D\boldsymbol{D} 的最小的闭集。

2. 投影定理

设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空闭凸集, y∈Rn\boldsymbol{y} \in \mathbb{R}^n 且 y∉D\boldsymbol{y} \notin \boldsymbol{D}, 则
(1) 存在唯一的一点 x‾∈D\overline{\boldsymbol{x}} \in D, 使得 x‾∈D\overline{\boldsymbol{x}} \in D 是 y\boldsymbol{y} 到 DD 的距离最小的点（距离大于 0 ），即有 ：

∥x‾−y∥=min⁡{∥x−y∥∣x∈D}>0\|\overline{\boldsymbol{x}}-\boldsymbol{y}\|=\min \{\|\boldsymbol{x}-\boldsymbol{y}\| \mid \boldsymbol{x} \in \boldsymbol{D}\}>0

(2) x‾∈D\overline{\boldsymbol{x}} \in \boldsymbol{D} 是 y\boldsymbol{y} 到 D\boldsymbol{D} 的距离最小的点的充要条件是 (x−x‾)T(x‾−y)⩾(\boldsymbol{x}-\overline{\boldsymbol{x}})^T(\overline{\boldsymbol{x}}-\boldsymbol{y}) \geqslant 0,∀x∈D0, \forall \boldsymbol{x} \in \boldsymbol{D}

3. 凸集的分离定理

先回顾一下什么是超平面(Hyperplane)，超平面指的是比所处空间少一个维度的子空间。超平面HH的方程如下：

H={x∈Rn:uTx=v}H=\left\{\boldsymbol{x} \in \mathbb{R}^n: \boldsymbol{u}^T \boldsymbol{x}=v\right\}

也可以写成：在超平面HH内一点 a\boldsymbol{a} 和任一点 x\boldsymbol{x}。 u\boldsymbol{u} 为点 x\boldsymbol{x} 处的法向量，将满足 uT(x−a)=0\boldsymbol{u^T}(\boldsymbol{x}-\boldsymbol{a})=0​ 于是有：

H={x∈Rn:uT(x−a)=0}H=\left\{\boldsymbol{x} \in \mathbb{R}^n\right. : \left.\boldsymbol{u^T}(\boldsymbol{x}-\boldsymbol{a})=0\right\}

若 uTx≥v\boldsymbol{u}^T \boldsymbol{x}\geq v 则表明点 x\boldsymbol{x} 在超平面HH的正面，若uTx≤v\boldsymbol{u}^T \boldsymbol{x}\leq v 则表明点 x\boldsymbol{x} 在超平面 HH 的背面。

现在再给定两个集合 S1S_1 ，S2S_2，

如果 uTx1≥v\boldsymbol{u}^T \boldsymbol{x_1}\geq v ，∀x1∈S1\forall \boldsymbol{x_1} \in S_1 ； uTx1≤v\boldsymbol{u}^T \boldsymbol{x_1}\leq v， ∀x2∈S2\forall \boldsymbol{x_2} \in S_2 ,则称 HH 分离 S1S_1 和 S2S_2。如下图所示：

p2.jpg

图中超平面HH的式子为uTx1=v\boldsymbol{u}^T \boldsymbol{x_1}= v，集合S1S_1中的任意点代入方程后都在正面(或面上)，集合S2S_2中的任意点代入方程后都在背面(或面上)，所以超平面HH分离开了集合S1S1和S2S_2。

3.1 点和凸集的分离定理(基本分离定理)

定理设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空闭凸集, y∈Rn,y∉D\boldsymbol{y} \in \mathbb{R}^n, \boldsymbol{y} \notin \boldsymbol{D}, 则存在非零向量 α∈Rn,β∈R\boldsymbol{\alpha} \in \mathbb{R}^n, \beta \in \mathbb{R} 满足 αTx⩽β<αTy,∀x∈D\boldsymbol{\alpha}^{\boldsymbol{T}} \boldsymbol{x} \leqslant \beta<\boldsymbol{\alpha}^{\boldsymbol{T}} \boldsymbol{y}, \forall \boldsymbol{x} \in \boldsymbol{D}

这个定理表明如果在空间Rn\mathbb{R}^n内存在一个凸集D\boldsymbol{D}，凸集外有一点y\boldsymbol{y}，那么可以找到一个超平面 αTx=β\boldsymbol{\alpha}^{\boldsymbol{T}} \boldsymbol{x}=\beta 将凸集D\boldsymbol{D}和点y\boldsymbol{y}分离开。

证明思路:

利用投影定理，在凸集中找到距离点$ \boldsymbol{y}$ 最近的点 x‾\overline{\boldsymbol{x}}，然后做切平面(极限情况)，即可分离。

推论1设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空凸集, y∈∂D\boldsymbol{y} \in \partial \boldsymbol{D}, 则存在非零向量 α∈Rn\boldsymbol{\alpha} \in \mathbb{R}^n 满足 αTx⩽αTy,∀x∈clD\boldsymbol{\alpha}^T \boldsymbol{x} \leqslant \boldsymbol{\alpha}^T \boldsymbol{y}, \forall \boldsymbol{x} \in c l \boldsymbol{D}

推论2设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空凸集, y∉D\boldsymbol{y} \notin \boldsymbol{D}, 则存在非零向量 α∈Rn\boldsymbol{\alpha} \in \mathbb{R}^n 满足 αTx⩽αTy,∀x∈clD\boldsymbol{\alpha}^T x \leqslant \boldsymbol{\alpha}^T \boldsymbol{y}, \forall \boldsymbol{x}\in c l \boldsymbol{D}

clc l 是闭包, ∂\partial 是边界。

3.2 支撑超平面定理

定理设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空凸集, x‾∈∂D\overline{\boldsymbol{x}} \in \partial \boldsymbol{D}, 则存在非零向量 α∈Rn\boldsymbol{\alpha} \in \mathbb{R}^n, 使得 αTx⩽αTx‾,∀x∈clD\boldsymbol{\alpha}^T \boldsymbol{x} \leqslant \boldsymbol{\alpha}^T \overline{\boldsymbol{x}}, \forall \boldsymbol{x} \in c l \boldsymbol{D}; 此时也称超平面 H={x∈Rn∣αT(x−x‾)=0}\boldsymbol{H}=\left\{\boldsymbol{x} \in \mathbb{R}^n \mid \boldsymbol{\alpha}^T (\boldsymbol{x}-\overline{\boldsymbol{x}})=0\right\} 为集合 D\boldsymbol{D} 在 x‾\overline{\boldsymbol{x}} 处的支撑超平面。

clc l 是闭包, ∂\partial 是边界。

从其他角度理解支撑超平面：

p1.jpg

下图为一个示意图：

p3.jpg

3.3 支撑分离定理(边界点与凸集的分离)

定理 若 SS 为 Rn\mathbb{R}^n 中的非空凸集 (不需要为闭集)，令 x‾∈∂S\overline{\boldsymbol{x}} \in \partial S ，则存在过点 x‾\overline{\boldsymbol{x}} 的 SS 的支撑超平面。

3.4 凸集和凸集的分离定理(超平面分离定理)

定理设 D1,D2⊂Rn\boldsymbol{D}_1, \boldsymbol{D}_2 \subset \mathbb{R}^n 是非空凸集，且 D1∩D2=∅\boldsymbol{D}_1 \cap \boldsymbol{D}_2=\varnothing 则存在非零向量 α\boldsymbol{\alpha} 使得：

inf⁡{αTx∣x∈D1}⩾sup⁡{αTx∣x∈D2}\inf \left\{\boldsymbol{\alpha}^T \boldsymbol{x} \mid \boldsymbol{x} \in \boldsymbol{D}_1\right\} \geqslant \sup \left\{\boldsymbol{\alpha}^T \boldsymbol{x} \mid \boldsymbol{x} \in \boldsymbol{D}_2\right\}

infinf表示下确界(infimum)，supsup表示上确界(supremum)

这个定理表明如果在空间Rn\mathbb{R}^n内存在两个没有交集的凸集D1\boldsymbol{D_1}和D2\boldsymbol{D_2}，那么可以找到一个平面将这两个凸集分隔开。

证明思路：

由于凸集没有交集，所以D1−D2\boldsymbol{D_1}-\boldsymbol{D_2}一定不包含0\boldsymbol{0}这个点，根据这个特殊的点利用点和凸集的分离定理即可证明。

证明: 令 D′=D2−D1={z∣z=x2−x1,x1∈D1,x2∈D2}\boldsymbol{D}^{\prime}=\boldsymbol{D_2}-\boldsymbol{D_1}=\left\{\boldsymbol{z} \mid \boldsymbol{z}=\boldsymbol{x_2}-\boldsymbol{x_1}, \boldsymbol{x_1} \in \boldsymbol{D_1}, \boldsymbol{x_2} \in \boldsymbol{D_2}\right\},由于 D1,D2\boldsymbol{D}_1, \boldsymbol{D}_2 非空, 所以 D′\boldsymbol{D}^{\prime} 非空, 由于 D1∩D2=∅\boldsymbol{D}_1 \cap \boldsymbol{D}_2=\varnothing, 所以 0∉D′\boldsymbol{0} \notin \boldsymbol{D}^{\prime}, 0∈∂D′\boldsymbol{0} \in \partial \boldsymbol{D'}，根据点与凸集的分离定理的推论可知存在非零向量 α\boldsymbol{\alpha}, 使得对每一个 z∈D′\boldsymbol{z} \in \boldsymbol{D}^{\prime} 都有 αT(z−0)=αTz⩽0\boldsymbol{\alpha}^T (\boldsymbol{z}-\boldsymbol{0})= \boldsymbol{\alpha}^T \boldsymbol{z}\leqslant 0, 即

αTx1⩾αTx2,∀x1∈D1,x2∈D2\boldsymbol{\alpha}^T \boldsymbol{x}_1 \geqslant \boldsymbol{\alpha}^T \boldsymbol{x}_2, \forall \boldsymbol{x}_1 \in \boldsymbol{D}_1, \boldsymbol{x}_2 \in \boldsymbol{D}_2

4.凸函数

4.1 凸函数的定义

设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空凸集, f(x)f(\boldsymbol{x}) 是定义在 D\boldsymbol{D} 上的函数, 如果对任 意的 x1,x2∈D,α∈(0,1)\boldsymbol{x}_1, \boldsymbol{x}_2 \in \boldsymbol{D}, \alpha \in(0,1) 都有 f(αx1+(1−α)x2)⩽f\left(\alpha \boldsymbol{x}_1+(1-\alpha) \boldsymbol{x}_2\right) \leqslant αf(x1)+(1−α)f(x2)\alpha f\left(\boldsymbol{x}_1\right)+(1-\alpha) f\left(\boldsymbol{x}_2\right), 则称 ff 是 D\boldsymbol{D} 上的凸函数(convexfunctionconvex\quad function)。

凸函数的定义和詹森 (Jensen)(Jensen) 不等式是相同的。

注意这个定义包含了两个条件。

更进一步地，如果对任意的 x1,x2∈D,α∈(0,1)\boldsymbol{x}_1, \boldsymbol{x}_2 \in \boldsymbol{D}, \alpha \in(0,1) 都有 f(αx1+(1−α)x2)<f\left(\alpha \boldsymbol{x}_1+(1-\alpha) \boldsymbol{x}_2\right)< αf(x1)+(1−α)f(x2)\alpha f\left(\boldsymbol{x}_1\right)+(1-\alpha) f\left(\boldsymbol{x}_2\right), 则称 ff 是 D\boldsymbol{D} 上的严格凸函数(strictlyconvexfunctionstrictly\quad convex\quad function)。

4.2 凸函数的几何意义

下图是一个凸函数：

p4.jpg

凸函数的几何意义在于，定义域中任意两点连线组成的线段都在这两点的函数曲线（面）上方。

下列函数均为 Rn\mathbb{R}^n 上的凸函数:

  • f(x)=cTxf(\boldsymbol{x})=\boldsymbol{c}^T \boldsymbol{x}

  • f(x)=∥x∥f(\boldsymbol{x})=\|\boldsymbol{x}\|

  • f(x)=xTAxf(\boldsymbol{x})=\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x}, 其中 A\boldsymbol{A} 为对称正定矩阵

4.3 凸函数的α\alpha水平集

f(x)f(\boldsymbol{x}) 是定义在 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 上的函数, α∈R\alpha \in \mathbb{R}, 集合 Dα={x∣f(x)⩽\boldsymbol{D}_\alpha=\{\boldsymbol{x} \mid f(\boldsymbol{x}) \leqslant α,x∈D}\alpha, \boldsymbol{x} \in \boldsymbol{D}\} 称作 ff 函数的 α\alpha 水平集(levelsetlevel\quad set)。

实质上就是一个函数满足一定条件时的定义域上的一系列点的集合。

一个例子，如下图所示：

p5.jpg

性质凸函数的任意 α\alpha 下水平集都是凸集。

注意：某个函数的下水平集都是凸集，但这个函数却不一定是凸函数 (如: f(x)=−exf(x)=-e^x )。

5. 凸函数的判别定理

判别定理1 定义在 Rn\mathbb{R}^n 上的 f(x)f(\boldsymbol{x}) 为凸函数的充要条件是对于任意 x,y∈Rn\boldsymbol{x}, \boldsymbol{y} \in \mathbb{R}^n, 一元函数 ϕ(α)=f(x+αy)\phi(\alpha)=f(\boldsymbol{x}+\alpha \boldsymbol{y}) 是关于 α\alpha​ 的凸函数。

判别定理2(一阶条件) 设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空开凸集, f:D⊂Rn→Rf: \boldsymbol{D} \subset \mathbb{R}^n \rightarrow \mathbb{R}, 且 f(x)f(\boldsymbol{x}) 在 D\boldsymbol{D} 上一阶连续可微,则 f(x)f(x) 是 D\boldsymbol{D} 上的凸函数的充要条件是:

f(y)⩾f(x)+∇f(x)T(y−x),∀x,y∈Df(\boldsymbol{y}) \geqslant f(\boldsymbol{x})+\nabla f(\boldsymbol{x})^T(\boldsymbol{y}-\boldsymbol{x}), \forall \boldsymbol{x}, \boldsymbol{y} \in \boldsymbol{D}

一阶条件的几何意义：凸函数永远位于其切线的上方 ,如下图所示：

p6.jpg

事实上，f(y)=f(x)+∇f(x)T(y−x)f(\boldsymbol{y}) = f(\boldsymbol{x})+\nabla f(\boldsymbol{x})^T(\boldsymbol{y}-\boldsymbol{x}) 就是函数 ff 在点 x\boldsymbol{x} 处的一阶泰勒近似，那么上述条件就说明了对于凸函数而言，其任意位置处的一阶泰勒展开总是其本身的全局下界。而泰勒展开描述的是函数 ff 的局部性质，由此我们得到有关凸函数的一个重要性质：凸函数是一类可以由局部信息推导出全局信息的函数。

一阶条件的引申：设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空开凸集, f:D⊂Rn→Rf: \boldsymbol{D} \subset \mathbb{R}^n \rightarrow \mathbb{R}, 且 f(x)f(\boldsymbol{x}) 在 D\boldsymbol{D} 上一阶连续可微, 则 f(x)f(x) 是 D\boldsymbol{D} 上的严格凸函数的充要条件是:

f(y)>f(x)+∇f(x)T(y−x),∀x,y∈D 且 x≠yf(\boldsymbol{y})>f(\boldsymbol{x})+\nabla f(\boldsymbol{x})^T(\boldsymbol{y}-\boldsymbol{x}), \forall \boldsymbol{x}, \boldsymbol{y} \in \boldsymbol{D} \text { 且 } \boldsymbol{x} \neq \boldsymbol{y}

判别定理3 设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空开凸集, f:D⊂Rn→Rf: \boldsymbol{D} \subset \mathbb{R}^n \rightarrow \mathbb{R}, 且 f(x)f(\boldsymbol{x}) 在 D\boldsymbol{D} 上二阶连续可微,则 f(x)f(x) 是 D\boldsymbol{D} 上的凸函数的充要条件是:f(x)f(\boldsymbol{x}) 的HesseHesse矩阵 ∇2f(x)\nabla^2 f(\boldsymbol{x}) 在 D\boldsymbol{D} 上是半正定的。

判别定理4

设 D⊂Rn\boldsymbol{D} \subset \mathbb{R}^n 是非空开凸集, f:D⊂Rn→Rf: \boldsymbol{D} \subset \mathbb{R}^n \rightarrow \mathbb{R}, 且 f(x)f(\boldsymbol{x}) 在 D\boldsymbol{D} 上二阶连续可微, 则：

  • f(x)f(\boldsymbol{x}) 的HesseHesse矩阵 ∇2f(x)\nabla^2 f(\boldsymbol{x}) 在 D\boldsymbol{D} 上正定 ⇒f(x)\Rightarrow f(\boldsymbol{x}) 是 D\boldsymbol{D} 上的严格凸函数;
  • f(x)f(\boldsymbol{x}) 是 D\boldsymbol{D} 上的严格 凸函数 ⇒f(x)\Rightarrow f(\boldsymbol{x}) 的HesseHesse矩阵 ∇2f(x)\nabla^2 f(\boldsymbol{x}) 在 D\boldsymbol{D}​ 上半正定。

几个反例：y=x4,x∈R,y=x6,x∈Ry=x^4, x \in \mathbb{R}, y=x^6, x \in \mathbb{R} 。

导致充分严格凸函数与严格正定不构成互为充要条件的原因:
对于 α>0\alpha>0, 如果当 α→0\alpha \rightarrow 0 时 o(α)>0o(\alpha)>0 且 o(α)→0o(\alpha) \rightarrow 0, 则有

f(x)+o(α)α<0,∀x∈Rn⇒f(x)<0,∀x∈Rnf(x)+o(α)α>0,∀x∈Rn⇒f(x)⩾0,∀x∈Rnf(x)+o(α)α⩽0,∀x∈Rn⇒f(x)<0,∀x∈Rnf(x)+o(α)α⩾0,∀x∈Rn⇒f(x)⩾0,∀x∈Rn\begin{aligned} & f(\boldsymbol{x})+\frac{o(\alpha)}{\alpha}<0, \forall \boldsymbol{x} \in \mathbb{R}^n \Rightarrow f(\boldsymbol{x})<0, \forall \boldsymbol{x} \in \mathbb{R}^n \\& f(\boldsymbol{x})+\frac{o(\alpha)}{\alpha}>0, \forall \boldsymbol{x} \in \mathbb{R}^n \Rightarrow f(\boldsymbol{x}) \geqslant 0, \forall \boldsymbol{x} \in \mathbb{R}^n \\& f(\boldsymbol{x})+\frac{o(\alpha)}{\alpha} \leqslant 0, \forall \boldsymbol{x} \in \mathbb{R}^n \Rightarrow f(\boldsymbol{x})<0, \forall \boldsymbol{x} \in \mathbb{R}^n \\& f(\boldsymbol{x})+\frac{o(\alpha)}{\alpha} \geqslant 0, \forall \boldsymbol{x} \in \mathbb{R}^n \Rightarrow f(\boldsymbol{x}) \geqslant 0, \forall \boldsymbol{x} \in \mathbb{R}^n \end{aligned}