Lecture6.概率极限理论

一、随机变量序列的收敛性

1.定义

(1)概率为1收敛：

如果$P{\lim\limits_{n \to \infty}X_n = X} = 1$，则称{X_n}概率为1地收敛于X，或几乎处处（几乎必然）收敛于X,记作

　　$\lim\limits_{n \to \infty}X_n \overset{a.e}{=} X$ 或 $X_n \overset{a.e}{\to} X$

(2)依概率收敛：

如果∀ε>0，$\lim\limits_{n \to \infty}P{|X_n-X|<\varepsilon} = 1$，则称{X_n}依概率收敛于X，记作

　　$\lim\limits_{n \to \infty}X_n \overset{P}{=} X$ 或 $X_n \overset{P}{\to} X$

(3)依分布收敛：

设X_n和X地分布函数分别为F_n(X)和F(X)，如果对F(X)所有连续点x，$\lim\limits_{n \to \infty}F_n(X)=F(X)$，则称{X_n}依分布收敛于X（亦称弱收敛），记作

　　$\lim\limits_{n \to \infty}X_n \overset{d}{=} X$ 或 $X_n \overset{d}{\to} X$

定理：$\lim\limits_{n \to \infty}X_n \overset{a.e}{=} X \Rightarrow \lim\limits_{n \to \infty}X_n \overset{P}{=} X \Rightarrow \lim\limits_{n \to \infty}X_n \overset{d}{=} X$

例1：考虑如下定义地随机变量序列的收敛性.

Ω=[0,1]，等可能地取到任何一点；a₁,a₂,...,a_k∈Ω，对n=1,2,...及ω∈Ω，定义随机变量序列：

$$
X_n(\omega) =
    \begin{cases}
    n,  & \omega = a_1,a_2,...,a_k \\
    \frac{1}{n}, & \omega\neq a_1,a_2,...,a_k
    \end{cases}
$$

易见，P{$\lim\limits_{n \to \infty}X_n = 0$} = 1，即，$\lim\limits_{n \to \infty}X_n \overset{a.e}{=} 0$

从而，该序列依概率为1收敛.

例2：考虑如下定义的随机变量序列的收敛性.

Ω=(0,1]，等可能地取到任何一点；定义随机变量

Y₁₁(ω)=1,ω∈(0,1]

$$Y_{21}(\omega) =
    \begin{cases}
    1, & \omega\in (0,\frac{1}{2}] \\
    0, & \omega\in (\frac{1}{2},1] 
    \end{cases}
Y_{22}(\omega) =
    \begin{cases}
    1, & \omega\in (\frac{1}{2},1] \\
    0, & \omega\in (0,\frac{1}{2}] \\
    \end{cases}$$

$$Y_{31}(\omega) =
    \begin{cases}
    1, & \omega\in (0,\frac{1}{3}] \\
    0, & else \\
    \end{cases}
Y_{32}(\omega) =
    \begin{cases}
    1, & \omega\in (\frac{1}{3},\frac{2}{3}] \\
    0, & else \\
    \end{cases}
Y_{33}(\omega) =
    \begin{cases}
    1, & \omega\in (\frac{2}{3},1] \\
    0, & else \\
    \end{cases}$$

$$\cdots Y_{ki}(\omega) =
    \begin{cases}
    1, & \omega\in (\frac{i-1}{k},\frac{i}{k}] \\
    0, & else
    \end{cases}
$$

进而定义序列：X₁=Y₁₁,X₂=Y₂₁,X₃=Y₂₂,...,X_n=Y_ki,...

(a) $\lim\limits_{n \to \infty}X_n \overset{P}{=} 0

　　∀ε>0(取ε<1),

　　$P{|X_n-0|<\omega}=P{Y_ki=0}=1-\frac{1}{k} \to 1,n\to\infty(k\to\infty)$

(b)$\lim\limits_{n \to \infty}X_n \overset{a.e}{\neq} 0$

　　∀ω∈(0,1],{X_n(ω)}有无穷多个0和1

　　$\lim\limits_{n \to \infty}X_n(\omega)$不存在

即，该随机变量序列依概率收敛，但不依概率为1收敛

例3.考察如下定义地随机变量序列的收敛性

设X₁,X₂,...和X独立同分布且服从p=0.5的0-1分布

(a)$\lim\limits_{n \to \infty}X_n \overset{d}{=} X$

(b)$\lim\limits_{n \to \infty}X_n \overset{P}{\neq} X$

∀ε(取0<ε<1)和∀n

$$
& P{|X_n-X|<\omega}=P{|X_n-X|=0} \\
&=P{(X_n=1\wedge X=1)\vee(X_n=0\wedge X=0)} \\
&=0.5\times0.5+0.5\times0.5=0.5
$$

该序列依分布收敛，但不依概率收敛

二、大数定律

0.重要不等式：
　　设非负随机变量X的期望E(X)存在，则对于任意实数ε>0，

　　　　$P(X\ge\omega)\le\frac{E(X)}{\omega}$

推论1：马尔可夫(Markov)不等式

　　设随机变量X的k阶绝对原点矩E(|X|^k)存在，则对于任意实数ε>0,

　　　　$P(|X|\ge\omega)\le\frac{E(|X|^k)}{\omega^k}$

推论2：切比雪夫(Chebyshev)不等式

　　设随机变量X的方差D(X)存在，则对于任意实数ε>0,

　　　　$P(|X-E(X)|\ge\omega)\le\frac{D(X)}{\omega^2}$或$P(|X-E(X)|<\omega)\ge 1-\frac{D(X)}{\omega^2}$（当ε²≤D(X)时无实际意义）

1.定义

设概率空间(Ω,F,P)上的随机变量序列{X_k}，每个E(X_k)都存在，k=1,2,...,n,记

　　$\overline{X}_n = \frac1n\sum\limits_{k=1}^nX_k$（算术平均，构成新随机变量序列）

若$n \to \infty$时，$\overline{X}_n-E(\overline{X}_n) \overset{P}{\to}0$，

即，∀ε>0，

　　$\lim\limits_{n \to \infty}P{|\overline{X}_n-E\overline{X}_n|<\omega}=1$

则称序列{X_k}服从大数定律

中心极限定理