Appendix 1- LLN and Central Limit Theorem

1. 大数定律（LLN）

设Y₁，Y₂，……Y_n是独立同分布(iid，independently identically distribution)的随机变量，A = S_Y /n = (Y₁+...+Y_n)/n。若将Y1，Y2……Yn看做是随机变量Y的n次采样，那么A是Y的采样平均。

因为 ，故 . It is important to understand that the variance of the sum increases with n and the variance of the normalized sum (the sample average, A) decreases with n.

弱大数定律与强大数定律：

两种不同的收敛形式,即几乎必然收敛(converge almost surely, 简称a.s.收敛)和依概率收敛(converge in probability, 简称i.p.收敛). 在概率空间中,a.s.收敛强于i.p.

1. 两者前提条件一样：要求iid分布并期望存在。
2. 弱大数定律表示样本均值“依概率收敛”于总体均值，即大概率会收敛，但无法保证是否存在某个n使之不收敛。
3. 强大数定律表示样本均值“几乎处处收敛”，比弱大数定律强。

T是信源发出的长为n序列，相当于独立事件发生n次。

2. 中心极限定理

中心极限定理central limit theorem是说：

• 样本的平均值约等于总体的平均值。
• 不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的整体平均值周围，并且呈正态分布。前提条件：要求iid分布，期望方差都有限并存在。