AWGN后验估计下的均值与协方差关系（向量和标量形式）

AWGN信道向量模型

考虑一个随机向量$\mathbf{x}\sim p_{\mathbf{X}}(\mathbf{x})$，信道模型为

$$\mathbf{q}=\mathbf{x}+\mathbf{v},\mathbf{v}\sim \mathcal{N}(0,\mathbf{\Sigma })$$

已知观测值$\mathbf{q}$，将后验估计的均值表示为$F_{in}(\mathbf{q},\mathbf{\Sigma })=\mathbb{E}[\mathbf{x}|\mathbf{q}]$，协方差表示为${\mathcal{E}}_{in}(\mathbf{q},\mathbf{\Sigma })=\text{Cov}[\mathbf{x}|\mathbf{q}]$。

后验均值与协方差的关系

后验均值$F_{in}(\mathbf{q},\mathbf{\Sigma })$与协方差${\mathcal{E}}_{in}(\mathbf{q},\mathbf{\Sigma })$满足如下关系式

$$\frac{\partial }{\partial \mathbf{q}}{F}_{in}(\mathbf{q},\mathbf{\Sigma })={\mathcal{E}}_{in}(\mathbf{q},\mathbf{\Sigma }){\mathbf{\Sigma }}^{-1}$$

证明：对$\mathbf{\Sigma }>0$（正定），定义函数

$$\begin{array}{rl}{A}_0(\mathbf{q})& =\int p_{\mathbf{X}}(\mathbf{x})\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })\mathrm{d}\mathbf{x}\\ A_1(\mathbf{q})& =\int \mathbf{x}{p}_{\mathbf{X}}(\mathbf{x})\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })\mathrm{d}\mathbf{x}\\ A_2(\mathbf{q})& =\int {\mathbf{xx}}^T{p}_{\mathbf{X}}(\mathbf{x})\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })\mathrm{d}\mathbf{x}\end{array}$$

其中$\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })$表示似然分布$p_{\mathbf{Q}|\mathbf{X}}$，均值为$\mathbf{x}$协方差为$\mathbf{\Sigma }$的高斯分布，即

$$\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })\equiv \mathcal{N}(\mathbf{x},\mathbf{\Sigma })$$

特殊地，先考虑$A_0(\mathbf{q})$

$$\begin{array}{rl}{A}_0(\mathbf{q})& =\int p_{\mathbf{X}}(\mathbf{x})\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })\mathrm{d}\mathbf{x}\\ & =\int p_{\mathbf{X}}(\mathbf{x})p_{\mathbf{Q}|\mathbf{X}}(\mathbf{q}|\mathbf{x})\mathrm{d}\mathbf{x}\\ & =p_{\mathbf{Q}}(\mathbf{q})\end{array}$$

根据期望的定义，可以写出

$$F_{in}(\mathbf{q},\mathbf{\Sigma })=\frac{A_1(\mathbf{q})}{A_0(\mathbf{q})}$$

根据$\text{Cov}[\mathbf{w}]=\mathbb{E}[\mathbf{w}{\mathbf{w}}^T]-\mathbb{E}[\mathbf{w}]\mathbb{E}[{\mathbf{w}}^T]$，可以写出

$${\mathcal{E}}_{in}(\mathbf{q},\mathbf{\Sigma })=\frac{A_2(\mathbf{q})}{A_0(\mathbf{q})}-\frac{A_1^2(\mathbf{q})}{A_0^2(\mathbf{q})}$$

对高斯分布求导可得

$$\frac{\partial }{\partial \mathbf{q}}\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })=\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })\cdot {(\mathbf{x}-\mathbf{q})}^T{\mathbf{\Sigma }}^{-1}$$

基于此，我们可以得到
$$\begin{array}{rl}\frac{\partial }{\partial \mathbf{q}}{F}_{in}(\mathbf{q},\mathbf{\Sigma })& =\frac{\partial }{\partial \mathbf{q}}\frac{A_1(\mathbf{q})}{A_0(\mathbf{q})}\\ & =\frac{\frac{\partial A_1(\mathbf{q})}{\partial \mathbf{q}}{A}_0(\mathbf{q})-A_1(\mathbf{q})\frac{\partial A_0(\mathbf{q})}{\partial \mathbf{q}}}{A_0^2(\mathbf{q})}\\ & =\frac{A_2(\mathbf{q}){\mathbf{\Sigma }}^{-1}}{A_0(\mathbf{q})}-\frac{A_1(\mathbf{q})A_1^T(\mathbf{q}){\mathbf{\Sigma }}^{-1}}{A_0^2(\mathbf{q})}\\ & ={\mathcal{E}}_{in}(\mathbf{q},\mathbf{\Sigma }){\mathbf{\Sigma }}^{-1}\end{array}$$

证毕。

从实数域拓展到复数域

考虑一个复随机向量$\mathbf{x}\sim p_{\mathbf{X}}(\mathbf{x})$，信道模型为

$$\mathbf{q}=\mathbf{x}+\mathbf{v},\mathbf{v}\sim \mathcal{C}\mathcal{N}(0,\mathbf{\Sigma })$$

对于上述推导过程，实数域和复数域的差别于一下两个方面：

• 转置->共轭转置（只是notation的转换）
• 实高斯分布->复高斯分布（主要关注求导）

求导主要体现在
$$\frac{\partial }{\partial {\mathbf{q}}^{\ast }}\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })=\varphi (\mathbf{q}-\mathbf{x};\mathbf{\Sigma })\cdot {(\mathbf{x}-\mathbf{q})}^H{\mathbf{\Sigma }}^{-1}$$

类似地，可以得到复数域的关系表达式为：
$$\frac{\partial }{\partial {\mathbf{q}}^{\ast }}{F}_{in}(\mathbf{q},\mathbf{\Sigma })={\mathcal{E}}_{in}(\mathbf{q},\mathbf{\Sigma }){\mathbf{\Sigma }}^{-1}$$

小结

AWGN信道向量模型为
$$\mathbf{q}=\mathbf{x}+\mathbf{v},\mathbf{x}\sim p_{\mathbf{X}}(\mathbf{x})，\mathbf{v}\sim \mathcal{N}(0,\mathbf{\Sigma })$$

MMSE估计均值与协方差的关系为

• 实数域
  $$\frac{\partial }{\partial \mathbf{q}}\mathbb{E}[\mathbf{x}|\mathbf{q}]=\text{Cov}[\mathbf{x}|\mathbf{q}]{\mathbf{\Sigma }}^{-1}$$

• 复数域（$v\sim \mathcal{C}\mathcal{N}(0,\mathbf{\Sigma })$）
  $$\frac{\partial }{\partial {\mathbf{q}}^{\ast }}\mathbb{E}[\mathbf{x}|\mathbf{q}]=\text{Cov}[\mathbf{x}|\mathbf{q}]{\mathbf{\Sigma }}^{-1}$$

退化到标量时，令$\nu \sim \mathcal{N}(0,{\sigma }^2)$，则

• 实数域
  $$\frac{\partial }{\partial q}\mathbb{E}[x|q]=\frac{1}{{\sigma }^2}\text{var}[x|q]$$

• 复数域（$v\sim \mathcal{C}\mathcal{N}(0,{\sigma }^2)$）
  $$\frac{\partial }{\partial q^{\ast }}\mathbb{E}[x|q]=\frac{1}{{\sigma }^2}\text{var}[x|q]$$

注意：上述结论不对$\mathbf{x}$的先验分布$p_{\mathbf{X}}(\mathbf{x})$做任何要求。