李航《统计学习方法》CH01

CH01 统计学方法概论

前言

章节目录

1. 统计学习
2. 监督学习
   1. 基本概念
   2. 问题的形式化
3. 统计学习三要素
   1. 模型
   2. 策略
   3. 算法
4. 模型评估与模型选择
   1. 训练误差与测试误差
   2. 过拟合与模型选择
5. 正则化与交叉验证
   1. 正则化
   2. 交叉验证
6. 泛化能力
   1. 泛化误差
   2. 泛化误差上界
7. 生成模型与判别模型
8. 分类问题
9. 标注问题
10. 回归问题

导读

• 直接看目录结构，会感觉有点乱，就层级结构来讲感觉并不整齐。

• 可以看本章概要部分，摘录几点，希望对本章内容编排的理解有帮助：

1. 统计学习三要素对理解统计学习方法起到提纲挈领的作用

2. 本书主要讨论监督学习

3. 分类问题、标注问题和回归问题都是监督学习的重要问题

4. 本书中介绍的统计学习方法包括...。这些方法是主要的分类、标注以及回归方法。他们又可归类为生成方法与判别方法。

• 本章最后的三个部分，这三个问题可以对比着看，暂时没有概念，略过也可以，回头对各个算法有了感觉回头再看这里。 这三部分怎么对比，三部分都有个图来说明，仔细看下差异，本文后面会对此展开。

• 关于损失函数，风险函数与目标函数注意体会差异

• Losses, Metrics, 在Keras里面划分了两个模块, 解释是Losses是BP过程用到的, 而Metrics实际和损失函数类似, 用来评价模型的性能, 但是不参与反向传播. 从源码也能看到, Metrics里面import了很多Loss算法

1. 实现统计学习方法的步骤

统计学习方法三要素:模型,策略,算法.

1. 得到一个有限的训练数据集合

2. 确定包含所有可能的模型的假设空间, 即学习模型的集合.

3. 确定模型选择的准则, 即学习的策略

4. 实现求解最优模型的算法, 即学习的算法

5. 通过学习方法选择最优的模型

6. 利用学习的最优模型对新数据进行预测或分析.

2. 监督学习

• 输入变量与输出变量均为连续变量的预测问题称为回归问题；
• 输出变量为有限个离散变量的预测问题称为分类问题；
• 输入变量与输出变量均为变量序列的预侧问题称为标注问题

监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P (X,Y)。

3. 统计学习方法三要素

3.1 模型

3.1.1 模型是什么?

在监督学习过程中, 模型就是所要学习的条件概率分布或者决策函数.

注意书中的这部分描述，整理了一下到表格里：

	假设空间$\cal F$	输入空间$\cal X$	输出空间$\cal Y$	参数空间
决策函数	$\cal F\it ={f | Y = f_{\theta}(X),\theta \in \bf R \it^n}$	$X$	$Y$	变量
条件概率分布	$\cal F\it ={P | P_\theta(Y|X), \theta \in \bf R \it ^n}$	$X$	$Y$	随机变量

书中描述的时候，有提到条件概率分布族，这个留一下，后面CH06有提到确认逻辑斯谛分布属于指数分布族。

3.2 策略

3.3.1损失函数与风险函数

损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。

1. 损失函数(loss function)或代价函数(cost function) 损失函数定义为给定输入$X$的预测值$f(X)$和真实值$Y$之间的非负实值函数, 记作$L(Y,f(X))$

2. 风险函数(risk function)或期望损失(expected loss) 这个和模型的泛化误差的形式是一样的 $R_{exp}(f)=E_p[L(Y, f(X))]=\int_{\mathcal X\times\mathcal Y}L(y,f(x))P(x,y) {\rm d}x{\rm d}y$ 模型$f(X)$关于联合分布$P(X,Y)$的平均意义下的损失(期望损失), 但是因为$P(X,Y)$是未知的, 所以前面的用词是期望, 以及平均意义下的.

   这个表示其实就是损失的均值, 反映了对整个数据的预测效果的好坏, $P(x,y)$转换成$\frac {\nu(X=x, Y=y)}{N}$更容易直观理解, 可以参考CH09, 6.2.2节的部分描述来理解, 但是真实的数据N是无穷的.

3. 经验风险(empirical risk)或经验损失(empirical loss) $R_{emp}(f)=\frac{1}{N}\sum^{N}_{i=1}L(y_i,f(x_i))$ 是模型 $f$ 关于训练样本集的平均损失. 根据大数定律, 当样本容量N趋于无穷大时, 经验风险趋于期望风险.

4. 结构风险(structural risk) $R_{srm}(f)=\frac{1}{N} \sum_{i=1}^{N} L(y_i,f(x_i))+\lambda J(f)$， $J(f)$为模型复杂度, $\lambda \geqslant 0$是系数, 用以权衡经验风险和模型复杂度.

3.2.2 常用损失函数

损失函数数值越小，模型就越好

$L(Y,f(X))$

　　1. 0-1损失函数

　　　　

　　2. 平方损失函数

　　　　

　　3. 绝对损失函数

　　　　

　　　　4. 对数损失函数或对数似然损失函数

　　　　

　　　　这里$P(Y|X)\leqslant 1$，对应的对数是负值，所以对数损失中包含一个负号，为什么不是绝对值？因为肯定是负的。

3.2.3 ERM与SRM

经验风险最小化(ERM)与结构风险最小化(SRM)

1. 极大似然估计是经验风险最小化的一个例子. 当模型是条件概率分布, 损失函数是对数损失函数时, 经验风险最小化等价于极大似然估计.
2. 贝叶斯估计中的最大后验概率估计是结构风险最小化的一个例子. 当模型是条件概率分布, 损失函数是对数损失函数, 模型复杂度由模型的先验概率表示时, 结构风险最小化等价于最大后验概率估计.

3.3 算法

这章里面简单提了一下，具体可以参考CH12表格中关于学习算法的描述。

4. 模型选择

当选择的模型复杂度过大（多项式次数增加）时，会发生过拟合现象。

模型选择常用方法：

　　1. 正则化 模型选择的典型方法是正则化

　　2. 交叉验证 另一种常用的模型选择方法是交叉验证

　　　　基本思想是重复地使用数据，把给定的数据进行切分，将切分的数据集组合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择.

• • 简单交叉验证：首先随机地将己给数据分为两部分，一部分作为训练集，另一部分作为测试集；然后用训练集在各种条件下(例如，不同的参数个数)训练模型，从而得到不同的模型；在测试集上评价各个模型的测试误差，选出测试误差最小的模型.

• • S折交叉验证：首先随机地将已给数据切分为S个互不相交的大小相同的子集；然后利用S-1个子集的数据训练模型，利用余下的子集测试模型；将这一过程对可能的S种选择重复进行；最后选出S次评测中平均侧试误差最小的模型.

• • 留一交叉验证：S折交叉验证的特殊情形是S=N，N是给定数据集的容量.

5. 泛化能力

学习方法的泛化能力(generalization ability)是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。

• 现实中采用最多的方法是通过测试误差来评价学习方法的泛化能力
• 统计学习理论试图从理论上对学习方法的泛化能力进行分析

这本书里面讨论的不多，在CH08里面有讨论提升方法的误差分析。

注意泛化误差的定义，书中有说事实上，泛化误差就是所学习到的模型的期望风险

6. 生成模型与判别模型

监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach). 所学到的模型分别称为生成模型(geuemtive model)和判别模型(discriminative model).

6.1 生成方法

generative approach

由数据学习联合概率分布 $P(X,Y)$ ,然后求出条件概率分布 $P(Y|X)$ 作为预测的模型，即生成模型

这样的方法之所以称为生成方法，是因为模型表示了给定输入 $X$ 产生输出 $Y$ 的生成关系.典型的生成模型有:朴素贝叶斯法和隐马尔可夫模型。

• 可以还原出联合概率分布$P(X,Y)$
• 收敛速度快, 当样本容量增加时, 学到的模型可以更快收敛到真实模型
• 当存在隐变量时仍可以用

6.2 判别方法

discriminative approach

由数据直接学习决策函数 $f(X)$ 或者条件概率分布 $P(Y|X)$ 作为预测的模型，即判别模型.判别方法关心的是对给定的输入 $X$ ，应该预测什么样的输出 $Y$ .典型的判别模型包括k近邻法、感知机、决策树、逻辑斯谛回归模型、最大嫡模型、支持向量机、提升方法和条件随机场等。

• 直接学习条件概率$P(Y|X)$或者决策函数$f(X)$
• 直接面对预测, 往往学习准确率更高
• 可以对数据进行各种程度的抽象, 定义特征并使用特征, 可以简化学习问题

7. 分类问题、标注问题、回归问题

Classification, Tagging, Regression

• 图1.4和图1.5除了分类系统和标注系统的差异外，没看到其他差异，但实际上这两幅图中对应的输入数据有差异，序列数据的$x_i = (x_i^{(1)},x_i^{(2)},\dots,x_i^{(n)})^T$对应了
• 图1.5和图1.6，回归问题的产出为$Y=\hat f(X)$