浅谈机器学习中的概率模型

浅谈机器学习中的概率模型

其实，当牵扯到概率的时候，一切问题都会变的及其复杂，比如我们监督学习任务中，对于一个分类任务，我们经常是在解决这样一个问题，比如对于一个n维的样本$X=[x_1,x_2,.....x_n]$，我们想知道它的类别，这个时候我们可以采用概率模型，比如贝叶斯模型，但是，我们知道样本$X$属于什么类别，可能跟他的所有特征有关，同时，他的所有特征可能又存在着及其复杂的联系，所以如果我们真的考虑特征之间各种复杂的关系，在计算P(y|X)这个概率时往往很困难，因为我们在求解这样的一个概率模型时，还需要考虑样本特征之间的及其复杂的联系。
所以，我们所采用的方法往往是假设样本特征之间是独立的，这样，去求解我们的问题。而且往往这样的做法有时候也可以有着不错的效果。
之所以会有这样的原因，是因为比如两个特征之间有着正相关或者负相关的关系，那么通过上面的方法，虽然没有考虑特征之间的关系，但是特征对于样本分类的影响还是会很大程度的考虑其中，所以，往往我们假设特征之间是独立的，去进行建模往往也可以取得很好的成绩，因为在建模的时候，特征之间的相关性对于样本分类的影响，会被考虑到。
还一种在概率论中的处理在马尔可夫模型中可以体现，其在考虑一个序列之间的关系时，只考虑相邻的。
在博主看来，我们去进行一些概率计算的简化时，需要考虑是否这种简化对于我们的任务有着较大的影响，我们的模型是否在建模的时候，即使由于概率计算的简化导致信息流失，但是模型可以很大程度，去弥补这种信息流失。
我举一个很好的例子：

比如一个人 w-体重 70kg h-身高180cm f-颜值打分90 s-形象打分95 现在根据这个四个值去探讨这个人是否被一个陌生人习惯的概率
我们知道 身高 颜值打分 形象打分 这三个数值明显是有关系的，身高会影响形象打分，颜值也会影响形象打分，那假设这四个特征独立，其实并不影响我们的建模，比如一个人最终被人喜欢的打分模型为（理想的打分模型)：
P=0.1w+h+1.4f+z

因为有一个潜在的关系： s=0.4h+0.6f+z，z为其他影响变量
那其实这个模型仍然是线性的，对于这个一个线性的模型，我们的模型仍然是可以学习到的。
比如：
我们可能会学习到这样的模型：
P=0.1w+0.6h+0.8f+s

这个模型其实和理想模型是等价的，是不是，其实 s h f 之间的相关性并没有影响我们求解出最好的模型。

但是这是在相关性比较简单的情况下可行，如果较为复杂，我们的模型也需要足够灵活，能够在模型中考虑到特征之间的相关性。