Mathematics Base - 期望、方差、协方差、相关系数总结

参考：《深度学习500问》

期望
​在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。

• 线性运算： \(E(ax+by+c) = aE(x)+bE(y)+c\)
• ​推广形式： \(E(\sum_{k=1}^{n}{a_ix_i+c}) = \sum_{k=1}^{n}{a_iE(x_i)+c}\)
• 函数期望：设\(f(x)\)为\(x\)的函数，则\(f(x)\)的期望为
  • 离散函数： \(E(f(x))=\sum_{k=1}^{n}{f(x_k)P(x_k)}\)
  • 连续函数： \(E(f(x))=\int_{-\infty}^{+\infty}{f(x)p(x)dx}\)

注意：

• 函数的期望不等于期望的函数，即\(E(f(x))=f(E(x))\)
• 一般情况下，乘积的期望不等于期望的乘积。
• 如果\(X\)和\(Y\)相互独立，则\(E(xy)=E(x)E(y)​\)。

方差

​概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：

\[
Var(x) = E((x-E(x))^2)
\]

方差性质：

1）\(Var(x) = E(x^2) -E(x)^2\)
2）常数的方差为0;
3）方差不满足线性性质;
4）如果\(X\)和\(Y\)相互独立, \(Var(ax+by)=a^2Var(x)+b^2Var(y)\)

协方差
​协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：

\[
Cov(x,y)=E((x-E(x))(y-E(y)))
\]

​方差是一种特殊的协方差。当\(X=Y\)时，\(Cov(x,y)=Var(x)=Var(y)\)。

协方差性质：

1）独立变量的协方差为0。
2）协方差计算公式：

\[
Cov(\sum_{i=1}^{m}{a_ix_i}, \sum_{j=1}^{m}{b_jy_j}) = \sum_{i=1}^{m} \sum_{j=1}^{m}{a_ib_jCov(x_iy_i)}
\]

3）特殊情况：

\[
Cov(a+bx, c+dy) = bdCov(x, y)
\]

相关系数
​相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为：

\[
Corr(x,y) = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}
\]

相关系数的性质：
1）有界性。相关系数的取值范围是 ，可以看成无量纲的协方差。
2）值越接近1，说明两个变量正相关性（线性）越强。越接近-1，说明负相关性越强，当为0时，表示两个变量没有相关性。