最小二乘问题和非线性优化

0.引言

转载自此处，修正了一点小错误。

1.最小二乘问题

在求解 SLAM 中的最优状态估计问题时，我们一般会得到两个变量，一个是由传感器获得的实际观测值 $\mathbf{z}$，一个是根据目前估计的状态量和观测模型计算出来的预测值 $h(\mathbf{x})$。求解最优状态估计问题时通常我们会尝试最小化预测值和观测值计算出的残差平方（使用平方是为了统一正负号的影响），即求解以下最小二乘问题：

$${\mathbf{x}}^{\ast }=\arg \underset{\mathbf{x}}{\min }||\mathbf{z}-h(\mathbf{x})|{|}^2$$
如果观测模型是线性模型，则上式转化为线性最小二乘问题：

$${\mathbf{x}}^{\ast }=\arg \underset{\mathbf{x}}{\min }||\mathbf{z}-\mathbf{H}\mathbf{x}|{|}^2$$
对于线性最小二乘问题，我们可以直接求闭式解：${\mathbf{x}}^{\ast }=-({\mathbf{H}}^T\mathbf{H}{)}^{-1}{\mathbf{H}}^T\mathbf{z}$ 这里不进行赘述。

实际的问题中，我们通常要最小化不止一个残差，不同残差通常会按其重要性（不确定性）分配一个相应的权重系数，且观测模型也通常是非线性的，即求解以下问题：

$$\begin{array}{rl}{\mathbf{e}}_i(\mathbf{x})& ={\mathbf{z}}_i-h_i(\mathbf{x})i=1,2,...,n\\ ||{\mathbf{e}}_i(\mathbf{x})|{|}_{{\Sigma }_i}^2& ={\mathbf{e}}_i^T{\mathbf{\Sigma }}_i{\mathbf{e}}_i\\ {\mathbf{x}}^{\ast }& =\arg \underset{\mathbf{x}}{\min }F(\mathbf{x})\\ & =\arg \underset{\mathbf{x}}{\min }\sum _i||{\mathbf{e}}_i(\mathbf{x})|{|}_{{\Sigma }_i}^2\end{array}$$
我们想要获得一个状态量 ${\mathbf{x}}^{\ast }$，使得损失函数 $F(\mathbf{x})$ 取得局部最小值。

在具体求解之前，先考虑 $F(\mathbf{x})$ 的性质，对其进行二阶泰勒展开：

$$F(\mathbf{x}+\Delta \mathbf{x})=F(\mathbf{x})+\mathbf{J}\Delta \mathbf{x}+\frac{1}{2}\Delta {\mathbf{x}}^T\mathbf{H}\Delta \mathbf{x}+O(||\Delta \mathbf{x}|{|}^3)$$
忽略高阶余项，对二次函数，有以下性质：

如果在点 ${\mathbf{x}}^{\ast }$ 处，导数为 $0$，则这个点为稳定点，根据 Hessian 矩阵的正定性有不同性质：

• 如果 $\mathbf{H}$ 为正定矩阵，则 $F({\mathbf{x}}^{\ast })$ 为局部最小值
• 如果 $\mathbf{H}$ 为负定矩阵，则 $F({\mathbf{x}}^{\ast })$ 为局部最大值
• 如果 $\mathbf{H}$ 为不定矩阵，则 $F({\mathbf{x}}^{\ast })$ 为鞍点

在实际过程中，一般 $F(x)$ 比较复杂，我们没有办法直接使其导数为 0 进而求出该点，因此常用的是迭代法，即找到一个下降方向使损失函数随 $\mathbf{x}$ 的迭代逐渐减少，直到 $\mathbf{x}$ 收敛到 ${\mathbf{x}}^{\ast }$。下面整理以下常用的几种迭代方法。

2.迭代下降法

上面提到，我们需要找到一个 $\mathbf{x}$ 的迭代量使得 $F(\mathbf{x})$ 减少。这个过程分两步：

找到 $\mathbf{F}(\mathbf{x})$ 的下降方向，构建该方向的单位向量 $\mathbf{d}$
确定该方向的迭代步长 $\alpha$
迭代后的自变量 $\mathbf{x}+\alpha \mathbf{d}$ 对应的函数值可以用一阶泰勒展开近似（当步长足够小的时候）：

$$F(\mathbf{x}+\alpha \mathbf{d})=F(\mathbf{x})+\alpha \mathbf{Jd}$$
因此，不难发现，要保持 $F(x)$ 是下降的，只需要保证 $\mathbf{Jd}<0$。以下几种方法都是以不同思路在寻找一个合适的方向进行迭代。

3.最速下降法

基于上一部分，我们知道变化量为 $\alpha \mathbf{Jd}$，其中 $\mathbf{Jd}=||\mathbf{J}||\cos \theta$，$\theta$ 为梯度$\mathbf{J}$ 和 $\mathbf{d}$ 的夹角。当 $\theta =-\pi$ 时，$\mathbf{Jd}=-||\mathbf{J}||$ 取得最小值，此时方向向量为：

$$\mathbf{d}=\frac{-{\mathbf{J}}^T}{||\mathbf{J}||}$$
因此，沿梯度 $\mathbf{J}$ 的负方向可以使 $F(\mathbf{x})$，但实际过程中，一般只会在迭代刚开始使用这种方法，当接近最优值时这种方法会出现震荡并且收敛较慢。

4.牛顿法

对 $F(\mathbf{x})$ 进行二阶泰勒展开有：

$$F(\mathbf{x}+\Delta \mathbf{x})=F(\mathbf{x})+\mathbf{J}\Delta \mathbf{x}+\frac{1}{2}\Delta {\mathbf{x}}^T\mathbf{H}\Delta \mathbf{x}$$
我们关注的是求一个 $\Delta \mathbf{x}$ 使得 $\mathbf{J}\Delta \mathbf{x}+\frac{1}{2}\Delta {\mathbf{x}}^T\mathbf{H}\Delta \mathbf{x}$ 最小，因此可以求导得：

$$\begin{array}{rl}\frac{\partial (\mathbf{J}\Delta \mathbf{x}+\frac{1}{2}\Delta {\mathbf{x}}^T\mathbf{H}\Delta \mathbf{x})}{\partial \Delta \mathbf{x}}& ={\mathbf{J}}^T+\mathbf{H}\Delta \mathbf{x}=0\\ \Rightarrow \Delta \mathbf{x}& =-{\mathbf{H}}^{-1}{\mathbf{J}}^T\end{array}$$
当 $\mathbf{H}$ 为正定矩阵且当前 $\mathbf{x}$ 在最优点附近时，取 $\Delta \mathbf{x}=-{\mathbf{H}}^{-1}{\mathbf{J}}^T$ 可以使函数获得局部最小值。但缺点是残差的 Hessian 函数通常比较难求。

5.阻尼法

在牛顿法的基础上，为了控制每次迭代不要太激进，我们可以在损失函数中增加一项惩罚项，如下所示：

$$\arg \underset{\Delta \mathbf{x}}{\min }\left\{F(\mathbf{x})+\mathbf{J}\Delta \mathbf{x}+\frac{1}{2}\Delta {\mathbf{x}}^T\mathbf{H}\Delta \mathbf{x}+\frac{1}{2}\mu (\Delta \mathbf{x}{)}^T(\Delta \mathbf{x})\right\}$$
当我们选的 $\Delta \mathbf{x}$ 太大时，损失函数也会变大，变大的幅度由 $\mu$ 决定，因此我们可以控制每次迭代量 $\Delta \mathbf{x}$ 的大小。同样在右侧部分对 $\Delta \mathbf{x}$ 求导有：

$$\begin{array}{rl}{\mathbf{J}}^T+\mathbf{H}\Delta \mathbf{x}+\mu \Delta \mathbf{x}& =0\\ (\mathbf{H}+\mu \mathbf{I})\Delta \mathbf{x}=-{\mathbf{J}}^T& \end{array}$$
这个思路我们后面在介绍 LM 法时也会用到。

6.高斯牛顿(GN)法

在前面的整理中实际上我们求解的是一系列残差的和，求单个残差的雅可比比较简单，因此在后续的几种方法中我们关注各个残差的变化。将上述非线性最小二乘问题中的各个残差写成向量形式：

$$\mathbf{F}(\mathbf{x})=\mathbf{E}(\mathbf{x})=\left[\begin{array}{c}{\mathbf{e}}_1(\mathbf{x})\\ {\mathbf{e}}_2(\mathbf{x})\\ ...\\ {\mathbf{e}}_n(\mathbf{x})\end{array}\right]$$

对 $\mathbf{e}(\mathbf{x})$ 进行泰勒展开，有：

$$\mathbf{e}(\mathbf{x}+\Delta \mathbf{x})=\mathbf{e}(\mathbf{x})+\mathbf{J}\Delta \mathbf{x}$$
上式中，$\mathbf{J}$ 是残差矩阵 $\mathbf{e}(\mathbf{x})$ 对状态量的雅可比矩阵。

注意到在原来的线性最小二乘问题中，对每个残差还有一个权重矩阵 $\mathbf{\Sigma }$。这种情况下，我们只需要令 ${\mathbf{e}}_i(\mathbf{x})=\sqrt{{\mathbf{\Sigma }}_i}{\mathbf{e}}_i(\mathbf{x})$ 即可。因此下式中暂不考虑 $\mathbf{\Sigma }$ 的影响。

在这种形式下对 $\mathbf{e}(\mathbf{x})$ 进行泰勒展开，有：

$$\begin{array}{rl}||e(\mathbf{x}+\Delta \mathbf{x})|{|}^2& =\mathbf{e}(\mathbf{x}+\Delta \mathbf{x}{)}^T\mathbf{e}(\mathbf{x}+\Delta \mathbf{x})\\ & =(\mathbf{e}(\mathbf{x})+\mathbf{J}\Delta \mathbf{x}{)}^T(\mathbf{e}(\mathbf{x})+\mathbf{J}\Delta \mathbf{x})\\ & =\mathbf{e}(\mathbf{x}{)}^T\mathbf{e}(\mathbf{x})+\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{e}(\mathbf{x})+\mathbf{e}(\mathbf{x}{)}^T\mathbf{J}\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}\end{array}$$
上式中，注意到：$e(\mathbf{x})$ 是一维的，因此 $\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{e}(\mathbf{x})=\mathbf{e}(\mathbf{x}{)}^T\mathbf{J}\Delta \mathbf{x}$，因此化简得：

$$\begin{array}{rl}F(\mathbf{x}+\Delta \mathbf{x})& =\mathbf{e}(\mathbf{x}{)}^T\mathbf{e}(\mathbf{x})+2\mathbf{e}(\mathbf{x}{)}^T\mathbf{J}\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}\\ & =F(\mathbf{x})+2\mathbf{e}(\mathbf{x}{)}^T\mathbf{J}\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}\end{array}$$
通过这种方式，我们同样将其近似一个二次函数，并且和我们之前展开的结果比较，不难发现在这里我们实际上是用 ${\mathbf{J}}^T\mathbf{e}$ 来近似 Jacobian 矩阵，用 ${\mathbf{J}}^T\mathbf{J}$ 来近似 Hessian 矩阵。因此，当 $\mathbf{J}$ 满秩时，我们可以保证在上式导数为 0 的地方可以确保函数取得局部最小值。同样，在上式右侧部分对 $\Delta \mathbf{x}$ 求导并使其为 0 有：

$$\begin{array}{rl}{\mathbf{J}}^T\mathbf{e}(\mathbf{x})+{\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}=0& \\ \Rightarrow {\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}& =-{\mathbf{J}}^T\mathbf{e}(\mathbf{x})\\ \Rightarrow \mathbf{H}\Delta \mathbf{x}& =\mathbf{b}\end{array}$$
上式中，我们令 $\mathbf{H}={\mathbf{J}}^T\mathbf{J},\mathbf{b}=-{\mathbf{J}}^T\mathbf{e}$。这样我们获得了高斯牛顿法的求解过程：

• 计算残差矩阵关于状态值的雅可比矩阵 $\mathbf{J}$
• 利用雅可比矩阵和残差构建信息矩阵和信息向量 $\mathbf{H},\mathbf{b}$
• 计算当次迭代量：$\Delta \mathbf{x}={\mathbf{H}}^{-1}\mathbf{b}$
• 如果迭代量足够小则结束迭代，否则进入下一次迭代

7.莱文贝格马夸特(LM)法

LM 法是在高斯牛顿法的基础上按照阻尼法的思路加入阻尼因子，即求解以下方程：

$$(\mathbf{H}+\mu \mathbf{I})\Delta \mathbf{x}=\mathbf{b}$$
上式中，阻尼因子的作用有：

• 添加进 $\mathbf{H}$ 保证 $\mathbf{H}$ 是正定的

• 当 $\mu$ 很大时，$\Delta \mathbf{x}=-(\mathbf{H}+\mu \mathbf{I}{)}^{-1}\mathbf{b}\approx -\frac{1}{\mu }\mathbf{b}=-\frac{1}{\mu }{\mathbf{J}}^T\mathbf{E}(\mathbf{x})$，接近最速下降法

• 当 $\mu$ 很小时，则接近高斯牛顿法
  因此，合理的设置阻尼因子，能够达到动态对迭代速度进行调节。阻尼因子的设置分为两部分：

• 初始值的选取

• 随迭代量变化的更新策略

先来看初始值选取方法，阻尼因子的大小应该根据 ${\mathbf{J}}^T\mathbf{J}$ 的大小来选取，对 ${\mathbf{J}}^T\mathbf{J}$ 进行特征值分解，有：${\mathbf{J}}^T\mathbf{J}=\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^T$，$\mathbf{\Lambda }=\text{diag}({\lambda }_1,{\lambda }_2,...,{\lambda }_n),\mathbf{V}=[{\mathbf{v}}_1,...,{\mathbf{v}}_n]$，因此，迭代公式化简为：

$$\begin{array}{rl}(\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^T+\mu \mathbf{I})\Delta \mathbf{x}& =\mathbf{b}\\ \Delta \mathbf{x}& =(\mathbf{V}\mathbf{\Lambda }{\mathbf{V}}^T+\mu \mathbf{I}{)}^{-1}\mathbf{b}\\ & =-\sum _i\frac{{\mathbf{v}}_i^T\mathbf{b}}{{\lambda }_i+\mu }{\mathbf{v}}_i\end{array}$$
因此，将 $\mu$ 选为 ${\lambda }_i$ 接近即可，一个简单的思路是设 ${\mu }_0=\tau \max ({\mathbf{J}}^T\mathbf{J}{)}_{ii}$，实际中一般设 $\tau \approx [10^{-8},1]$

接下来看 $\mu$ 的更新策略，先定性分析应该怎么更新阻尼因子：

• 当 $\Delta \mathbf{x}$ 令 $F(\mathbf{x})$ 增加时，应该提高 $\mu$ 来降低 $\Delta \mathbf{x}$ 即通过减少步长来降低本次迭代带来的影响
• 当 $\Delta \mathbf{x}$ 令 $F(\mathbf{x})$ 减少时，应该降低 $\mu$ 来提高 $\Delta \mathbf{x}$ 即通过增加步长来提高这次迭代的影响

下面进行定量分析，令 $L(\Delta \mathbf{x})=F(\mathbf{x})+2\mathbf{E}(\mathbf{x}{)}^T\mathbf{J}\Delta \mathbf{x}+\frac{1}{2}\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}$考虑以下比例因子：

$$\rho =\frac{F(\mathbf{x})-F(\mathbf{x}+\Delta \mathbf{x})}{L(0)-F(\Delta \mathbf{x})}$$
Marquardt 提出一个策略：

• 当 $\rho <0$，表示当前 $\Delta \mathbf{x}$ 使 $F(\mathbf{x})$ 增大，表示离最优值还很远，应该提高 $\mu$ 使其接近最速下降法进行较大幅度的更新
• 当 $\rho >0$ 且比较大，表示当前 $\Delta \mathbf{x}$ 使 $F(\mathbf{x})$ 减小，应该降低 $\mu$ 使其接近高斯牛顿法，降低速度更新至最优点
• 如果 $\rho >0$ 但比较小，表示已经到最优点附近，则增大阻尼 $\mu$，缩小迭代步长

Marquardt 的具体策略如下：

if rho < 0.25: mu = mu * 2
else if rho > 0.75: mu = mu /3

一个使用 Marquardt 策略进行更新的过程如下：

可以发现，效果并不算很好，随着迭代次数的增加，$\mu$ 开始进行震荡，表示迭代量周期性的使 $F(\mathbf{x})$ 增加又下降。

因此，Nielsen 提出了另一个策略，也是 G2O 和 Ceres 中使用的策略：

if rho > 0:mu = mu * max(1/3, 1 - (2 * rho - 1)^3)v = 2
else:mu = mu * vv = 2 * v

使用这种策略进行优化的例子如下：

可以看到，$\mu$ 随着迭代的进行可以比较平滑的持续下降直至达到收敛。

8.鲁棒核函数

在进行最小二乘问题中，我们会遇到一些异常观测值使得观测残差特别大，如果不对这些异常点做处理会影响在优化过程中，优化器会尝试最小化异常的残差项，最后影响状态估计的精度，鲁棒核函数就是用来降低这些异常观测值造成的影响。

将鲁棒核函数直接作用在每个残差项上，将最小二乘问题变成如下形式：

$$F(\mathbf{x})=\sum _i\rho (||e_i(\mathbf{x})|{|}^2)$$
使用鲁棒核函数时求解非线性最小二乘的过程
在这个形式下对带有鲁棒核函数的残差进行二阶泰勒展开：

$$\rho (s+\Delta s)=\rho (x)+{\rho }^{\prime }(x)\Delta s+\frac{1}{2}{\rho }^{\prime \prime }(x){\Delta }^{2}s$$
上式中，变化量 $\Delta s$ 的计算方式如下：

$$\begin{array}{rl}\Delta s_k& =||e_i(\mathbf{x}+\Delta \mathbf{x})|{|}^2-||e_i(\mathbf{x})|{|}^2\\ & =||e_i(\mathbf{x})+{\mathbf{J}}_i\Delta \mathbf{x}|{|}^2-||e_i(\mathbf{x})|{|}^2\\ & =2e_i(\mathbf{x}{)}^T{\mathbf{J}}_i\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}_i^T{\mathbf{J}}_i\Delta \mathbf{x}\end{array}$$
将 $\Delta s$ 代入 $\rho (s+\Delta s)$ 可得：

$$\begin{array}{rl}\rho (s+\Delta s)=& \rho (s)+{\rho }^{\prime }(s)(2e_i(\mathbf{x}{)}^T{\mathbf{J}}_i\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}_i^T{\mathbf{J}}_i\Delta \mathbf{x})\\ & +\frac{1}{2}{\rho }^{\prime \prime }(s)(2e_i(\mathbf{x}{)}^T{\mathbf{J}}_i\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}_i^T{\mathbf{J}}_i\Delta \mathbf{x}{)}^2\\ \approx & \rho (s)+2{\rho }^{\prime }(s)e_i(\mathbf{x}{)}^T{\mathbf{J}}_i\Delta \mathbf{x}+{\rho }^{\prime }(s)\Delta {\mathbf{x}}^T{\mathbf{J}}_i^T{\mathbf{J}}_i\Delta \mathbf{x}\\ & +2{\rho }^{\prime \prime }(s)\Delta {\mathbf{x}}^T{\mathbf{J}}_i^T{e}_i(\mathbf{x})e_i(\mathbf{x}{)}^T{\mathbf{J}}_i\Delta \mathbf{x}\end{array}$$
按照之前的思路，对上式求导并使其为 0，可得：

$$\sum _i{\mathbf{J}}_i^T({\rho }^{\prime }(s)+2{\rho }^{\prime \prime }(s)e_i(\mathbf{x})e_i(\mathbf{x}{)}^T)\mathbf{J}\Delta \mathbf{x}=-\sum _i{\rho }^{\prime }(s){\mathbf{J}}_i^T{e}_i(\mathbf{x})$$
对比之前的矩阵 ${\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}=-{\mathbf{J}}_i^T\mathbf{e}(\mathbf{x})$ 可得，当我们使用了鲁棒核函数之后，只需要将各项残差的核函数的一阶二阶导数值计算出，再按照以上形式对信息矩阵和信息向量进行更新即可。

常用的鲁棒核函数
柯西鲁棒核函数：

$$\begin{array}{rl}\rho (s)& =c^2\log (1+\frac{s}{c^2})\\ {\rho }^{\prime }(s)& =\frac{1}{1+\frac{s}{c^2}}\\ {\rho }^{\prime \prime }(s)& =-\frac{1}{c^2}({\rho }^{\prime }(s){)}^2\end{array}$$
其中，$c$ 为控制参数。当残差是正态分布，Huber c 选为 1.345，Cauchy c 选为 2.3849。不同鲁棒核函数的效果如下图所示：