统计学第一章笔记整理（统计学第一章笔记图片）

第七章 支持向量机

支持向量机(Support Vector Machine,SVM)，1995年Vapnik和Cortes(瓦普尼克和科尔特斯)欲找到具有“最大间隔”的决策边界,提出了强大的支持向量机(SVM)。主要思想是用一个分类超平面将样本分开从而达到分类效果，具有很强的理论论证和实验结果。它在解决小样本、非线性以及高维模式识别方面具有许多独特优势，并能推广应用到函数拟合等其他机器学习问题中。

SVM的基本模型是二分类模型，属于有监督学习，是在空间当中寻找出一个超平面[2]作为分类的决策边界，对数据进行分类，且使每一类样本距离决策边界最近的样本到决策边界的距离尽可能的远，使分类误差最小化。

SVM高阶版本还有核函数

第八章 提升方法

1. AdaBoost是一种集成学习方法

2. Adaboost的起源：只要找到一个比随机猜测略好的弱学习算法就可以直接将其提升为强学习算法，而不必直接去找很难获得的强学习算法。

3. 为实现弱学习互补，面临两个问题：

（1）怎样获得不同的弱分类器？

（2）怎样组合弱分类器？

4. AdaBoost每一轮如何改变训练数据的权值或概率分布？

提高那些被前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值

5. AdaBoost如何将弱分类器组合成一个强分类器？

加权多数表决，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用。

6. AdaBoost模型属于加法模型，采用指数函数作为损失函数。学习算法：前向分步算法的二分类学习算法

7. 提升树是以分类树或回归树为基本分类器的提升方法，被认为是统计学习中性能最好的方法之一。提升方法以决策树为基函数，采用加法模型(即基函数的线性组合)与前向分步算法