Bike Sharing Analysis（二）- 假设检验方法

假设检验

假设检验是推论统计学（inferential statistics）的一个分支，也就是对一个较小的、有代表性的数据组（例如样本集合）进行分析与评估，并依此推断出一个大型的数据组（例如人口）的一般性结论。一个典型的例子如：估算一个国家中居民的平均身高（在这个场景下，也就是人口）。在估算时，可能会在1000个人（也就是样本）中进行分析以及评估，然后对整个国家里的居民平均身高进行估算。

假设检验尝试解决的问题：一个特定的假设值是否与直接分析（或评估）获取的值处于一致。

一般来说，假设检验的步骤如下：

1. 定义null 与 alternative hypotheses：

在第一步中，会定义一个null hypothesis（记为H₀）。这里我们定义H₀为：某国的人口平均身高为175cm。这个假设是需要之后通过统计测试进行测试的假设。Alternative hypothesis（记为H_a）由null hypothesis 的补全完整性声明组成，在这个例子中，alternative hypothesis H_a 为：平均身高不为175cm。null hypothesis 和 alternative hypothesis 永远都是相互补全的。

2. 确立合适的检验统计量：

检验统计量是基于样本计算出的一个量。它的值是决定接收或是拒绝null hypothesis 的基准。在大部分情况下，它可以由下面的公式计算得出：

这里sample statistic（样本统计值）是在样本上计算得出的统计值（在这个例子中，就是1000个样本居民的平均身高）；

value under null hypothesis（null hypothesis 下的值），假设 null hypothesis成立时的值（在这个例子中，也就是175cm）；

standard error of sample statistic（样本统计值的标准差），是样本的标准误差。

一旦test statistic 确定并计算得出后，我们需要决定它遵循什么样的概率分布。在大部分情况下，会使用如下概率分布：

1. t-分布（Student’s t-distribution），对应t-检验（t-test）
2. 标准正态分布（Standard normal）或z-分布（z-distribution），对应z-检验（z-test）
3. 卡方分布（Chi-squared distribution），对应卡方检验（chi-squared test）
4. F-分布（F-distribution），对应F-检验（F-tests）

在选择使用哪个分布时，取决于样本的大小以及检验的类别。根据经验，如果样本大小超过30，我们预期“中心极限定理的假设成立“，所以检验统计（test statistic）遵循一个标准分布（所以使用z-检验）。对于更保守的办法，或是对于小于30个样本，应使用t-检验（检验统计遵循Student’s t-分布）

3. 指定显著性水平（significance level）：

在检验统计量（test statistic）计算得出后，我们需要决定是否能拒绝null hypothesis。在执行时，我们首先指定一个显著性水平（significance level），也就是拒绝一个正确的null hypothesis 的概率。一般的方法是指定5% 的显著性水平。这个意思是：null hypothesis 为正确的，但是我们有5% 的概率拒绝它（对于更保险的方法，我们可以使用1% 或甚至0.5%）。一旦一个显著性水平被指定后，我们需要计算拒绝点（rejection points），他们是用于与检验统计量进行对比的值。如果检验统计量（test statistic）大于指定的拒绝点，则我们可以拒绝 null hypothesis 并假设 alternative hypothesis 为真。这里我们就可以将两者区分开来

4. 双侧检验（two-sided tests）：

这是在null hypothesis 假设value“等同于“一个预定义的值的时候做的检验。举个例子，全国人民的平均身高等同于175cm。在这个例子中，如果我们指定一个显著性水平为5%，则我们会有两个临界值（一正一负），它们两条尾巴的总体概率相加为5%。在计算临界值时，我们需要找到一个正态分布的两个百分比值，这两个百分比值之间的概率等同于1减去显著性水平。举个例子，如果我们假定样本的身高均值服从一个正态分布，指定检验的显著性水平为5%，则我们需要找到两个百分比数，落入它们区间之外的值的概率等于0.05。由于它的概率由两条尾巴进行分割，所以这2个百分数就是2.5 和 97.5。对于一个正态分布来说，对应的值就是-1.96 和 1.96，这就是两个临界值。所以，如果以下为真，则我们不会拒绝null hypothesis：

如果上面的公式不为真，那也就是说，检验统计值（test statistic）大于1.96或是小于-1.96，则我们拒绝null hypothesis

5. 单侧检验（One-sided tests）：

这是在null hypothesis 假定value “大于“或是”小于“一个预定义值的时候做的检验。例如，全国人民的平均身高高于175cm。在这个例子中，如果我们指定一个显著性水平为5%，则我们将仅有一个临界值，它的尾巴的概率等同于5%。在找这个临界值时，我们需要找到一个正态分布的一个百分数，对应的是尾部概率等于0.05 的值。对于”大于“类型的检验，临界值对应于5-分位数，或是-1.645（若是检验遵从一个正态分布）；对于”小于“类型的检验，临界值对应为95-分位数，或是1.645。所以，若是以下为真，则我们会拒绝null hypothesis（”大于“检验的情况）：

反之，对于“小于“检验的类型，若是以下公式为真，则我们拒绝null hypothesis：

需要注意的是，通常情况下，相对于计算一个特定显著性水平的临界值，我们会使用检验的 p 值（p-value）。p值是在null hypothesis可以被拒绝时的最小显著性水平。p 值也提供了，在null hypothesis 为真的情况下，获取观测到的样本统计量的概率。如果获取的 p 值小于一个指定的显著性水平，则我们可以拒绝null hypothesis。所以p值的方法，在实际使用中，是另一个（大多数情况下也是更方便的一个）执行假设检验的方法。

下一章我们会使用 Python 来演示一个实际执行假设检验的例子。