当前位置：首页 > news >正文

核方法总结（四）——高斯过程回归学习笔记

news 文章来源：https://blog.csdn.net/reept/article/details/140060829 2024/7/6 18:52:55

一、定义

基于核方法的线性回归模型和传统线性回归一样，可以用未知数据进行预测，但不能确定

预测的可信度。在参考书第二章中可知，基于贝叶斯方法可以实现对未知数据依概率预测，进而可得到预测的可信度。这一方法中，通过对模型参数w引入先验概率p(w),通过学习可得到该参数的后验概率p(w|D),并以此对x进行依概率预测，形式化如下：

$p(t_{*}\mid x_{*}) = \int p(t_{*}\mid x_{*};w)p(w\mid D)dw$ 1---(1)

其中 $p(t_{*}\mid x_{*};w)$ 是生成模型，可以是任何已知或设定的某种分布形式的模型，每个模型由w唯一确定，p(w|D)是基于训练数据D得到的对w的后验估计，计算如下：

$p(w|D) \propto p(D|w)p(w)$ 1---(2)

上式通过w的先验概率p(w)来实现对每个具体模型 $p(t_{*}\mid x_{*};w)$ 赋予先验概率。在核方法中，由于不存在一个显式的w,因此通过引入先验的方法无法适用。从而这里引入了高斯过程回归，而高斯过程回归就是基于核方法并引入随机性为高斯分布的一种统计回归方法，回归的结果就是高斯随机预测函数，并且可以得到预测的信度。

二、高斯过程回归的推导

2.1 高斯过程

高斯过程是随机过程的一种。随机过程和随机变量相对，是反映一系列变量或一组变量的分布特性，即各个组成变量以某种随机规律或分布取值。假设集合Ｘ有x1、x2.....xｎ个变量，如对每个变量进行一次采样，这些采样值就构成了一个定义在Ｘ上的函数f,这一函数显然是随机函数，而且f的形式显然就定义了具体的随机过程，所以也可以认为随机过程是以随机函数为自变量的概率分布，这个”概率分布“由f变量随机生成采样值生成。

　　任何一个变量集合Ｘ（进行采样）所蕴含的有限维函数分布族满足一致性和对称性就能保证Ｘ为一随机过程，且这一有限维函数分布族恰好就是该随机过程的有限维分布函数。这称之为 Kolmogorov定理。

　　所谓一致性就是，是指从Ｘ中任选一个子集，得到的概率分布形式是一致的。更严格地说，如果存在两个子集Ｘ1和Ｘ２，且 $X1\bigcap X2 \neq 0$ ,则由Ｘ１或Ｘ２通过边缘化其他变量导出的 $P(X1\bigcap X2 )$ 应一致，即：