第一章 统计学习方法概论

1.1统计学习

1.特点
统计学习：statistical learning，关于计算机基于数据结构概率统计模型并运用模型对数据进行预测与分析的一门学科。也称为“统计机器学习” （statistical machine learning）。
主要特点：（1）以计算机及网络为平台；（2）以数据为研究对象，数据驱动；（3）目的是对数据进行分许与预测；（4）以方法为中心，构建模型并应用模型进行预测与分析；（5）是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中逐步形成独自的理论体系与方法论。

计算机系统通过运用数据及统计方法提高系统性能的机器学习。

2.对象
数据。
从数据出发，提取数据的特征，抽象模型，发现知识，进行分析和预测。
基本假设：同类数据具有一定的统计规律性。
离散变量、连续变量。

3.目的
对新的未知数据进行分析与预测；获取新的知识。
学习什么样的模型，如何学习模型。

4.方法
监督学习（supervised learning）
非监督学习（unsupervised learning）
半监督学习（semi-supervised learning）
强化学习（reinforcement learning）

模型的假设空间（hypothesis space）、选择准则（evaluation criterion）和学习方法——三要素：模型（model）、策略（strategy）、算法（algorithm）

5.研究
统计学习方法、统计学习理论、统计学习应用

6.重要性

1.2 监督学习

1.2.1基本概念

输入空间
特征空间
输出空间