凸优化问题求解

1. 线性规划基本定理

首先我们指出，线性规划均可等价地化成如下标准形式$$\begin{array}{r}\{\begin{array}{ll}\min c^{T}x,& \\ s.tAx=b,& \\ x⪰0,& \end{array}\end{array}$$其中，$A=[a_1,\cdots ,a_n]\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,c\in {\mathbb{R}}^n$不妨恒假定矩阵 $A$ 是行满秩的，即 $\mathbf{rank}(A)=m$(否则根据线性代数的理论，可以找到 $\mathbf{rank}(A)$ 行方程来替换原方程，同时为了叙述简便，分别称矩阵 $A$ 和 向量 $b$ 为(1)的系数矩阵和右端向量.

因为线性规划的可行集是一个多面体，并且目标函数是线性的，从几何上直观地看，线性函数在多面体上的极小点若存在，则必然在多面体的顶点上取得.对于标准形式的线性规划问题，其最小值点必在坐标轴上达到，于是这就需要研究 $Ax=b$ 的所谓基础解的性质.

对标准形式的线性规划问题(7.1.1), 设方程组 $Ax=b$ 有解. 设 b ∈ s p a n ( A ) , { a j } j ∈ J b\in\mathbf{span}(A),\{a_j\}_{j\in J} b∈span(A),{aj​}j∈J​ 是 $A$的列向量的一个极大线性无关组，其中 J ⊂ { 1 , . . . , n } , ∣ J ∣ = m ( ∣ J ∣ J\subset \{ 1, ..., n\} , |J|= m( |J| J⊂{1,...,n},∣J∣=m(∣J∣ 表示集合 $J$ 所含元素个数).那么 $b$ 必可表示为 { a j } j ∈ J \{a_j\}_{j\in J} {aj​}j∈J​ 的线性组合.

定义 1.1 (线性方程组的基础解) 设 $A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,x=(x_1,...,x_n{)}^T$ 是线性方程组 $Ax=b$ 的一个解.如果存在 J ⊂ { 1 , ⋯ , n } , ∣ J ∣ = r a n k ( A ) J\subset\{1,\cdots,n\},\quad|J|=\mathbf{rank}(A) J⊂{1,⋯,n},∣J∣=rank(A),使得 x j = 0 , ∀ j ∉ J ; { a j ∣ j ∈ J } 线性无关 , x_j=0,\quad\forall j\not\in J;\quad\{a_j|j\in J\}\text{线性无关}, xj​=0,∀j∈J;{aj​∣j∈J}线性无关,则称 $x$ 为一个基础解，$x$ 的分量 { x j ∣ j ∈ J } \{x_j|j\in J\} {xj​∣j∈J} 称为相应的基变量，并称 { x j ∣ j ∉ J } \{x_j|j\not\in J\} {xj​∣j∈J} 为非基变量.若 { x j ∣ j ∈ J } \{x_j|j\in J\} {xj​∣j∈J} 含有零元素，则称 $x$ 是一个退化的基础解.

显然，若 $Ax=b$ 有解，则矩阵 $A$ 的列向量 { a 1 , . . . , a n } \{a_1,...,a_n\} {a1​,...,an​} 的每一个极大线性无关组对应于一个基础解，由于 { a 1 , . . . , a n } \{a_1,...,a_n\} {a1​,...,an​} 的极大线性无关组未必唯一，所以 $Ax=b$ 的基础解也不一定是唯一的.

引理 1.1 设 $A=[a_1,...,a_n]\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,x\in {\mathbb{R}}^n$ 是 $Ax=b$ 的一个解，那么 $x$ 是基础解当且仅当 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj​∣xj​=0} 线性无关.

证. 设 $x$ 是基础解，根据线性方程组基础解的定义，存在 J ⊂ { 1 , ⋯ , n } , ∣ J ∣ = r a n k ( A ) J\subset\{1,\cdots,n\},\quad|J|=\mathbf{rank}(A) J⊂{1,⋯,n},∣J∣=rank(A),使得 x j = 0 , ∀ j ∉ J ; { a j ∣ j ∈ J } 线性无关 , x_j=0,\quad\forall j\not\in J;\quad\{a_j|j\in J\}\text{线性无关}, xj​=0,∀j∈J;{aj​∣j∈J}线性无关,于是由集合的性质可以得到， { a j ∣ x j ≠ 0 } ⊂ { a j ∣ j ∈ J } \{a_j|x_j\neq0\}\subset\{a_j|j\in J\} {aj​∣xj​=0}⊂{aj​∣j∈J}, 所以 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj​∣xj​=0} 是极大线性无关组的子集，故线性无关.

反之，设 $Ax=b$ 且 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj​∣xj​=0} 线性无关.不妨设
$$\{\begin{array}{ll}{x}_j\ne 0& j=1,\cdots ,k;\\ x_j=0& j=k+1,\cdots ,n.\end{array}$$因为 $a_1,...,a_k$ 线性无关，所以 $k\le m=\mathbf{rank}(A)$. 当 $k<m$ 时从 $a_{k+1},\cdots ,a_n$ 中挑选 $m-k$ 个向量，不妨设为 $a_{k+1},\cdots ,a_m$,使得 $a_1,\cdots ,a_m$ 线性无关. 由于 $x_{m+1}=...=x_n=0$，所以 $x$ 是 $Ax=b$ 的一个基础解.

$n$ 维线性方程组 $Ax=b$ 的解 $x$的全体构成 ${\mathbb{R}}^n$ 中的一个仿射集. 其基础解是落在某个 $m$ 维子空间的解，它使得 { a j ∣ x j ≠ 0 } \{a_j|x_j\neq0\} {aj​∣xj​=0} 线性无关.

定义 1.2 (基础可行解和基础最优解) 对于线性规划(1)即$$\begin{array}{r}\{\begin{array}{ll}\min c^{T}x,& \\ s.tAx=b,& \\ x⪰0,& \end{array}\end{array}$$设 $x$ 是 $Ax=b$ 的一个基础解，

(1) 若 $x$ 还是(1)的一个可行点，即 $x⪰0$, 则称之为(1)的一个基础可行解；

(2) 若 $x$ 还是(1)的一个最优解，则称之为(1)的一个基础最优解.

对于线性规划(7.1.1),有

命题 1.2 (线性规划基本定理) 对于线性规划(1)有

(1) 若存在可行点，则必存在基础可行解；

(2) 若存在最优解，则存在基础最优解

证.设$A=[a_1,\cdots ,a_n]\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,x$ 是(1)的一个可行点.若 { a j ∣ x j > 0 } \{a_j|x_j>0\} {aj​∣xj​>0} 线性相关，不妨设 $x$ 的前 $k$ 个分量非零：$$\begin{array}{rlrlrlr}{x}_j>0,& & j=1,\cdots ,k;& & x_j=0,& & j=k+1,\cdots ,n.\end{array}$$由于 { a j ∣ x j > 0 } \{a_j|x_j>0\} {aj​∣xj​>0} 线性相关，于是存在 $0\ne y=(y_1,\cdots ,y_k,0,\cdots ,0{)}^T\in {\mathbb{R}}^n$, 使得$$Ay=y_1{a}_1+\cdots +y_k{a}_k=0.$$易见，当$ϵ>0$ 充分小时，有
\quad (a) $x_j\pm ϵy_j>0,j=1,\cdots ,k$.所以 $x\pm ϵy$ 都是可行点；
\quad (b) 若 $x$ 是最优解，则 $c^{T}x\le c^T(x\pm ϵy)$,即 $c^{T}y=0$. 从而 $c^T(x\pm ϵy)=c^{T}x.$

不妨设 $y_1,...,y_k$ 中至少有一个为正的项. 下面我们用用逐步逼近的思想，来让可行解 $x$ 其中一个分量变为零后但仍为可行解.

让 $ϵ$ 逐步增大，直到 { x j − ϵ y j ∣ j = 1 , . . . , k } \{x_j-\epsilon y_j|j=1,...,k\} {xj​−ϵyj​∣j=1,...,k} 中至少有一项为 0 而其余各项非负. 因为 $ϵ$ 充分小，于是 $\tilde{x}:=x-ϵy$ 仍是一个可行点，且它比$x$ 至少多出一个为零的分量.

若 { a j ∣ x ~ j > 0 } \{a_j|\tilde{x}_j>0\} {aj​∣x~j​>0} 仍线性相关，不断重复上述逐步逼近的操作，那么有限次后便得到可行点 $\tilde{x}$, 使得 { a j ∣ x ~ j > 0 } \{a_j|\tilde{x}_j>0\} {aj​∣x~j​>0} 线性无关(因为线性方程组 $Ax=b$的 系数矩阵 $A$ 的秩不为0).因为 $0⪯x$，所以 { a j ∣ x ~ j > 0 } = { a j ∣ x ~ j ≠ 0 } \{a_j|\tilde{x}_j>0\}=\{a_j|\tilde{x}_j\neq0\} {aj​∣x~j​>0}={aj​∣x~j​=0}, 于是由引理 1.1可知，$\tilde{x}$ 是一个基础可行解. (1) 获证.

命题 1.2是非常重要的，它能够说明在整个可行集中求解线性规划(1)的问题可以归结为在基础可行集中求解.而 $Ax=b$ 的基础解个数就是 { a 1 , . . . , a n } \{a_1,...,a_n\} {a1​,...,an​} 的极大线性无关组的个数，且最大个数为 $\left(\genfrac{}{}{0ex}{}{n}{m}\right)$.

定义 1.3 (极点) 设 $x\in S\subset {\mathbb{R}}^n$. 如果不存在互异的 $x_1,x_2\in S$ 以及 $0<\theta <1$, 使得$x=\theta x_1+(1-\theta )x_2$，即线段$x_1{x}_2$之间任意一点都不属于集合 $S$ ，则称 $x$ 是 $S$ 的一个极点.

命题 1.3 (基础可行解的几何特征) 设 $A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m$,记 D : = { x ∈ R n ∣ A x = b , x ⪰ 0 } \mathcal{D}:=\{x\in\mathbb{R}^n|Ax=b,\:x\succeq0\} D:={x∈Rn∣Ax=b,x⪰0}.那么，$x$ 是一个基础可行解当且仅当它是 $D$ 的一个极点.

证.设 $x$ 不是 $\mathcal{D}$ 的一个极点，不妨设 $x\in \mathcal{D}($否则已经不是基础可行解). 因为 $x$是基础可行解且 $x$ 不是极点，于是存在$y,z\in \mathcal{D},y\ne z$,以及$0<\theta <1$, 使得 $x=\theta y+(1-\theta )z$.不妨设设 { i ∣ x i > 0 } = { 1 , . . . , k } . \{i|x_i>0\}=\{1,...,k\}. {i∣xi​>0}={1,...,k}. 由于 $x,y,z$ 的所有分量都是非负的，且由于 $x=\theta y+(1-\theta )z$，所以 $y,z$ 的后 $n-k$ 个分量也是 0. 于是$$\sum _{i=1}^k(y_i-z_i)a_i=\sum _{i=1}^k{y}_i{a}_i-\sum _{i=1}^k{z}_i{a}_i=Ay-Az=b-b=0.$$所以 $a_1,...,a_k$ 线性相关. 由 引理 1.1可知，$x$ 不是一个基础可行解，矛盾

反之，设 $x$ 不是一个基础可行解但 $x$是极点，不妨设 $x\in \mathcal{D}($否则它已经不是 $\mathcal{D}$ 的极点). 由于 $x$ 不是基础可行解，则 $x$ 也不是 $Ax=b$ 的基础解. 不妨设 { i ∣ x i > 0 } = { 1 , . . . , k } \{i|x_i>0\}=\{1,...,k\} {i∣xi​>0}={1,...,k}, 那么 $a_1,...,a_k$ 线性相关. 于是存在 $0\ne y=(y_1,\cdots ,y_k,0,\cdots ,0{)}^T$, 使得 $Ay=0$. 易见当 $ϵ$ 充分小时，有$$x\pm ϵy\in \mathcal{D},x=\frac{1}{2}[(x+ϵy)+(x-ϵy)].$$所以 $x$ 不是 $\mathcal{D}$ 的极点，矛盾.

2.单纯形法

单纯形法的基本思想是从线性规划的一个基础可行解出发，寻找另一个基础可行解，并在此过程中使目标函数不断下降，直至达到基础最优解.

2.1 转轴运算

转轴运算是单纯形算法的基本运算单元，现考虑如下标准形式的线性规划$$\begin{array}{r}\{\begin{array}{llc}& \min f(x)=c^{T}x+d& \\ & s.tAx=b,& \\ & x⪰0,& \end{array}\end{array}$$$\text{其中 }A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m,c\in {\mathbb{R}}^n.\text{ 下面先介绍单纯形表和三种基本变换}.$构造如下所示的图表：$$\begin{array}{r}[\begin{array}{cc}{x}^T& b\\ A& b\\ c^T& -d\end{array}]=\left[\begin{array}{cccccccc}{x}_1& \cdots & x_p& \cdots & x_q& \cdots & x_n& b\\ a_{11}& \cdots & a_{1p}& \cdots & a_{1q}& \cdots & a_{1n}& b_1\\ ⋮& & ⋮& & ⋮& & ⋮& ⋮\\ a_{m1}& \cdots & a_{mp}& \cdots & a_{mq}& \cdots & a_{mn}& b_m\\ c_1& \cdots & c_p& \cdots & c_q& \cdots & c_n& -d\end{array}\right],\end{array}$$并且称之为线性规划(2)的单纯形表.其中第一行且并非数值或变量，称之为标记行，其作用是在后续列交换时过程中标记对应变量的位置.最后一行是线性规划(1)的目标函数的系数，称之为目标行.而除标记行和目标行以外的部分是矩阵 $[A,b]$,为叙述简便,对 $1\le i\le m$，仍称矩阵 $[A,b$] 的第 $i$ 行为单纯形表的第 $i$ 行.

(2.1.1) 变量置换, 设 $1\le p<q\le n$ 将单纯性表(3)的第 $p$ 列与第 $q$ 列进行交换，可以得到如下新的单纯性表$$[\begin{array}{cc}{x}^{\prime T}& b\\ A^{\prime }& b^{\prime }\\ c^{\prime T}& -d^{\prime }\end{array}]=\left[\begin{array}{cccccccc}{x}_1& \cdots & x_q& \cdots & x_p& \cdots & x_n& b\\ a_{11}& \cdots & a_{1q}& \cdots & a_{1p}& \cdots & a_{1n}& b_1\\ ⋮& & ⋮& & ⋮& & ⋮& ⋮\\ a_{m1}& \cdots & a_{mq}& \cdots & a_{mp}& \cdots & a_{mn}& b_m\\ c_1& \cdots & c_q& \cdots & c_p& \cdots & c_n& -d\end{array}\right].$$根据线性代数的内容，有$$x^{\prime }=Qx,A^{\prime }=A{Q}^T,b^{\prime }=b,c^{\prime }=Qc,d^{\prime }=d,$$其中 $Q$ 是交换第 $p$ 行和第 $q$ 行的 $n$ 阶置换矩阵，$x$ 是 $n$ 维列向量，即 $x=(x_1,x_2,\cdots ,x_n{)}^T$，由此可得 $Ax=b⟺A^{\prime }{x}^{\prime }=b^{\prime }.$

(2.1.2) 行初等变换, 将单纯性表(3)除标记行和目标行以外的各行进行矩阵的行初等
变换，得到新的单纯形表X.显然标记行和目标行不会改变-，仅仅是将 $[A,b]$ 变成了 $[A\prime ,b\prime ]X$ 显然 $Ax=b$ 同解于 $A\prime x=b\prime$

(2.1.3) 目标函数变形：设 $1\le i\le m,\lambda \in \mathbb{R}$.将单纯性表(7.2.2)的目标行减去 $[A,b]$ 的第$i$ 行的 λ倍，得到新的目标行 $[c^{\prime },-d^{\prime }]$. 记目标函数 $f(x):=c^{T}x+d$ ,那么，这相当于用$c^{T}x=f(x)-d$ 减去 $Ax=b$ 的 $i$ 行的 入倍，得 $c^{\prime T}x=f(x)-d-\lambda b_i$, 即

3. 内点法

3.1 线性规划的内点法

内点法的基本思想

单纯形法从顶点到顶点搜索最优解- 当初始点远离最优解时- 需要很长的搜索代价X 而内
点法在可行域内部进行搜索迭代的算法X 设当前点 x0 是可行集 D 的一个相对内点- 根
据 优化问题笔记 中的引理 1.2.1，设 $x^{\ast }\in \mathcal{D}$,那么 $\mathbf{SFD}(x^{\ast })$ 是一个闭集，且当 $x^{\ast }\in \mathbf{ri}(\mathcal{D})$ 时，有$V_{\mathcal{P}}\cap \partial B(0,1)\subset \mathbf{FD}(x^{\ast })$,因而$\mathbf{cl}(\mathbf{FD}(x^{\ast }))\subset \mathbf{SFD}(x^{\ast })\subset \mathbf{U}(x^{\ast })\cap \partial B(0,1)\subset V_{\mathcal{D}}\cap \partial B(0,1)$中四个集合均相等，