徐亦达机器学习：Kalman Filter 卡尔曼滤波笔记 (一)

	$P(x_t$|$x_{t-1})$	$P(y_t$|$x_t)$	$P(x_1)$
Discrete State DM	$A_{X_{t-1},X_t}$	Any	$\pi$
Linear Gassian Kalman DM	$N(A{X}_{t-1}+B,Q)$	$N(H{X}_t+C,R)$	$N({\mu }_0,{ϵ}_0)$
No-Linear NoGaussian DM	$f(x_{t-1})$	$g(y_t)$	$f(x_1)$

$$\{\begin{array}{r}P(y_1,...,y_t)--evaluation\\ argment\theta \log P(y1,...,y_t|\theta )--parameterlearning\\ P(x_1,...,x_t|y_1,...,y_t)-statedecoding\\ P(x_t|y_1,..,y_t)-filtering\end{array}$$

线性高斯噪声的动态模型

$P(x_t|y_1,...,y_t)$
假设转移概率是$P(x_t|X_{t-1})=N(A{X}_{t-1}+B,Q)$
$X_t=A{X}_{t-1}+B+\omega$ , $\omega \sim N(0,Q)$

measurement probility
$P(y_t|x_t)=N(H{X}_t+C,R)$
$y_t=H{X}_t+C+v$
$v\sim N(0,R)$
以下都是参数。

filter公式推导

HMM模型，当隐变量确定的时候，观测就变成独立的了。

• 卡尔曼滤波，当t = 1的时候，我们就知道 $P(x_1|y_1)\sim N({\hat{u}}_1,{\hat{\sigma }}_1)$
• t = 2的时候，$P(x_2|y_2)\sim N({\overline{u}}_2,{\overline{\sigma }}_2)$
  

个人理解

• 卡尔曼滤波可以理解为滤波器的一种，用数学表达就是用观测量$y_1,y_2,y_3...,y_t$来获得t时刻的估计量$x_t$，数学公式为
  $P(x_t|y_1,...,y_t)$正比与$P(x_t,y_1,...,y_t)$可以理解为前置条件$y_1,...,y_t$发生的条件下有发生$x_t$的概率与两类事件同时发生的概率是成正比的。可以简单理解为$P(A|B)$与$P(A,B)$成正比。
• 那么得出 $P(x_t|y_1,...,y_t)\propto P(x_t,y_1,...,y_t)\propto P(y_t|x_t,y_1,...,y_{t-1})\ast P(x_t|y_1,...,y_{t-1})$
• 有HMM可以得知，$P(y_t)$发生的概率是只跟$x_t$相关，因此$P(y_t|x_t,y_1,...,y_t-1)=P(y_t|x_t)$,而$x_t$的估计量，是通过上一次观测获得，$x_t$与$y_1,...,y_{t-1}$相关。
• 那么得出预测为$P(x_t|y_1,...,y_{t-1})$，前t-1时刻的观测值估计下一刻t的状态。
• 将$x_t$看为常量，将$x_{t-1}$看为变量，那么就得到了预测公式的推导公式为$P(x_t|y_1,...,y_{t-1})={\int }_{d(x_{t-1})}P(x_t,x_{t-1}|y_1,...,y_t)d{x}_{t-1}\propto {\int }_{x_{t-1}}P(x_t|x_{t-1})P(x_{t-1}|y_1,...,y_{t-1})d(x_{t-1})$
  

总结

• 预测：不知道当前时刻的观测，用上一时刻观测与预测当前时刻的状态
  $P(x_t|y_1,...,y_{t-1})=\int P(x_t|x_{t-1})P(x_{t-1}|y_1,...,y_{t-1})$
• 更新：已经知道当前时刻的观测，用当前的观测更新当前可是的状态
  $P(x_t|y_1,...,y_t)=P(y_t|x_t)P(x_t|y_1,...,y_{t-1})$
  

结论

• $x_t|y_1,...,y_{t-1}=AE[x_{t-1}]+A\Delta X_{t-1}+\omega$ $=E[x_t]+\Delta x_t$
• $y_t|y_1,...y_{t-1}=HAE[X_{t-1}]+HA\Delta x_{t-1}+H\omega +v=E[y_t]+\Delta y_t$
• $P(x_t|y_1,...,y_t)=N(AE[x_{t-1}],E[(\Delta x)(\Delta x{)}^T])$
• $P(y_t|y1,...,y_{t-1})=N(HAE[X_{t-1}],E[(\Delta y)(\Delta y{)}^T])$
  以上为边缘分布
  $$P(x_t,y_t|y_1,...,y_{t-1})$$
  

非线性非高斯噪声的动态模型