2.4 statistical decision theory

在讲完最小二乘（linear regression）和K近邻后，进入本节。

引入符号：

$X\in R^p$ X为维度为p的输入向量

$Y\in R$ Y为输出，实数

$P(X,Y)$ 为两者的联合概率分布

$f(X)$ 为预测函数，给定X，输出Y

a.使用squared error loss(L2)作为损失函数

$L(Y,f(X))={(Y-f(X))}^2$

EPE（excepted prediction error）为

$EPE(f)=E({(Y-f(X))}^2) \\ \ \ =\int \int {[y-f(x)]}^2 P(x,y) dxdy=\int [\int {[y-f(x)]}^2 P(y|x) dy]p(x)dx \\ \ \ =E_XE_{Y|X}({[Y-f(X)]}^2|X)$

最小化EPE，在每个点上f(x)需要满足：

$f(x)={argmin}_c E_{Y|X}({[Y-c]}^2|X=x)\\ \ \ ={argmin}_c \int [y^2-2yc+c^2]P(y|X=x)dy={argmin}_c E_{Y|X}(Y^2)-2cE_{Y|X}(Y)+c^2$

对上式的c求导，置为0：

$c=E(Y|X=x)$

所以，当squared error loss时，给定X，最好的预测为条件均值

K近邻实际给出的是(1)对条件均值的点估计(2)X=x被模拟为在某近似区域

linear regression则假设这些条件均值能用线性函数近似

b.使用L1作为损失函数

$L(Y,f(X))={|Y-f(X)|}$

$f(x)={argmin}_c E_{Y|X}({|Y-c|}|X=x)\\ \ \ ={argmin}_c \int_{-\infty}^c(y-c)P(y|X=x)dy+\int_c^{\infty}(c-y)P(y|X=x)dy\\ \ \ ={argmin}_c \int_{-\infty}^c yP(y|X=x)dy-c\int_{-\infty}^c P(y|X=x)dy+c\int_c^{\infty}P(y|X=x)dy-\int_c^{\infty}yP(y|X=x)dy$

对c求导，置为0：

第一部分：$cP(y=c|X=x)$

第二部分：$-\int_{-\infty}^c P(y|X=x)dy-cP(y=c|X=x)$

第三部分：$\int_{c}^{\infty}P(y|X=x)dy-cP(y=c|X=x)$

第四部分：$cP(y=c|X=x)$

有$\int_{c}^{\infty}P(y|X=x)dy=\int_{-\infty}^c P(y|X=x)dy$

所以，当为L1作为损失函数时，给定X，最好的预测为条件中値