Oscar的数理统计笔记本

Random Variable
- discrete distribution:
- continuous distribution：
统计量
现代统计学时期：
Survey sampling

Random Variable

\(\underline{cdf:}\)cumulative distribution function \(F(x)=P(X \leq x)\)
\(\underline{pmf:}\)probability mass function(for discrete probability distribution )
(1)\(p(x) \geq0,x \in X\)
(2)\(\sum\limits_{x \in X}P(x)=1\)
\(\underline{pdf:}\)probability density function(for continuous probability distribution )
(1)\(f(x) \geq 0\)for all x,
(2)\(\int_{-\infty}^{\infty}f(x)dx=1\)

discrete distribution:

Negative Binomial Distribution
\(\left(\begin{array}{c}{k+r-1} \\ {k}\end{array}\right)=\frac{(k+r-1) !}{k !(r-1) !}=\frac{(k+r-1)(k+r-2) \ldots(r)}{k !}=(-1)^{k} \frac{(-k-r+1)(-k-r+2) \ldots(-r)}{k !}=(-1)^{k}\left(\begin{array}{c}{-r} \\ {k}\end{array}\right)\)

continuous distribution：

Normal distibution：\(\int_\limits{\mathbb{R}} \exp \left(-\frac{x^{2}}{2}\right) \mathrm{d} x=1\)
\(\int_{0}^{\infty}\exp \left(-\frac{x^{2}}{2}\right) \mathrm{d} x=\frac{1}{2}\)
\(X \looparrowright N(\mu,\sigma^2)\)
pdf：\(p(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{-(x-\mu)^2}{2\sigma^2}}\)
cdf：\(F(x)=\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^xe^{\frac{-(t-\mu)^2}{2\sigma^2}}dt\)

统计量

现代统计学时期：

20世纪80年代开始，随着现代生物医学的发展，计算机技术的进步，人类对健康的管理和疾病的治疗已进入基因领域，对基因数据分析产生大量需求。多维海量的基因数据具有全新的数据特征，变量维度远远大于样本数，传统的统计方法失效了，因此一系列面向多维数据的统计分析方法相继产生，比如著名的Lasso方法。
20世纪90年代以来，随着Internet的发展，数据库中积累了海量的数据。如何从海量的数据中挖掘有用的信息就变得越来越重要了，数据挖掘也就应运而生了。与数据挖掘比较接近的名词是机器学习,。因为机器学习算法中涉及了很多的统计学理论，与统计学的关系密切，也被称为统计学习。
经验分布函数：
将所得数据\(x_1,x_2,\dots,x_n\)重新排列为顺序统计量\(x_{1}^{*} \leq x_{2}^{*} \leq \cdots \leq x_{n}^{*}\)
\(F_{n}^{*}(x)=\left\{\begin{array}{cc}{0} & {x<x_{1}^{*}} \\ {k / n} & {x_{k}^{*} \leq x<x_{k+1}^{*} \quad k=1,2, \cdots, n-1} \\ {1} & {x \geq x_{n}^{*}}\end{array}\right.\)
为总体\(X\)的经验分布函数
例子：
从一批标准重量为克的罐头中，随机抽取8听：
8，-4，6 ，7， -2， 1， 0， 1测的误差
求总体\(X\)的经验分布函数
\(F_{n}(x)=\left\{\begin{array}{cc}{0} & {x<-7} \\ {1 / 8} & {-7 \leq x<-4} \\ {2 / 8} & {-4 \leq x<-2} \\ {3 / 8} & {-2 \leq x<0} \\ {4 / 8} & {0 \leq x<1} \\ {6 / 8} & {1 \leq x<6} \\ {7 / 8} & {6 \leq x<8} \\ {1} & {x \geq 8}\end{array}\right.\)
统计量：依赖于样本的函数
样本均值：\(\bar{X}=\bar{X}_{n}=\frac{1}{n} \sum_{i=1}^{n} X_{i}\)（总体样本）
(分组样本)样本均值的近似公式：\(\bar{x}=\frac{x_1f_1+\dots x_kf_k}{n} (n=\sum_{i=1}^{k}f_i)\)
\(f_i\)为第i组的频数，k为组数
样本k阶原点矩：\(X^{k}=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{k}\)
单个正态总体分布下的样本均值分布：
\(\overline{\boldsymbol{X}}=\frac{1}{n} \sum_{i=1}^{n} X_{i} \sim N\left(\mu, \frac{\sigma^{2}}{n}\right)\)
证明：
\(X_{1}, X_{2}, \cdots, X_{n}\)独立同分布，\(E(X_i)=\mu\)

Survey sampling

\(\bullet\)What is survey sampling?(c.f.census survey)(c.f.:参考，查看，来源于拉丁语)
\(\bullet\)understanding the whole by a \(\underline{fraction}\)(i.e.a \(\underline{sample}\))
Population:
Q:What is the population to survey?(In some cases,it can be difficult to identify or determine)
N:population size
a sample of size n:a subgroup of n members(n<N)
Q:Which n members should be included in the sample?(i.e.how to produce a \(\underline{representative}\) sample)
quantity of interest:
\(x_i,i=1,2,3\cdots N\)(each labeled by an integer)
\(x_i\)can be \(\underline{numerical}\) or \(\underline{categorial}\)
Multivariate\((x_{i1},x_{i2}\cdots x_{ik}),i=1,2,3 \dots N\)
\(\underline{Definition : }\)(survey sampling)
A technique to obtain \(\underline{information}\) about a \(\underline{large}\) population by examining only