6 集成学习及Python实现

1 主要思想

集成学习: 三个臭裨将, 顶个诸葛亮

• Bagging: 数据随机重抽样, 并行构建分类器, 投票；
• Boosting: 关注被错分的样本, 串行构建分类器, 加权投票。

2 理论

AdaBoost (Adaptive Boosting)示意图1


错误率:
$$\epsilon =\frac{E}{N}$$
其中$N$为实例数量, $E$为错分数量

样本权重:
$$\alpha =\frac{1}{2}\ln (\frac{1-\epsilon }{\epsilon })$$

正确分类样本权重:
$$D_i^{t+1}=\frac{D_i^t{e}^{-\alpha }}{\sum D}$$

错误分类样本权重:
$$D_i^{t+1}=\frac{D_i^t{e}^{\alpha }}{\sum D}$$

3 程序分析