基于R语言的数据分析和挖掘方法总结——描述性统计

1.1 方法简介

描述性统计包含多种基本描述统计量，让用户对于数据结构可以有一个初步的认识。
在此所提供之统计量包含：

• 基本信息：样本数、总和
• 集中趋势：均值、中位数、众数
• 离散趋势：方差(标准差)、变异系数、全距(最小值、最大值)、内四分位距(25%分位数、75%分位数)
• 分布描述：峰度系数、偏度系数

用户可选择多个变量同时进行计算，亦可选择分组变量进行多组别的统计量计算。

1.2 详细介绍

1.2.1 样本数和总和

1. R语言涉及的方法：length(x)

1.2.2 均值(Mean)

1. 公式

2. R语言实现方法：mean(x)

例如：

> mean(Nile)
[1] 919.35

1.2.3 中位数(Median)

1. 定义：

中位数描述数据中心位置的数字特征。大体上比中位数大或小的数据个数为整个数据的一半。对于对称分布的数据，均值与中位数比较接近；对于偏态分布的数据，均值与中位数不同。中位数的又一显著特点是不受异常值得影响，具有稳健性，因此它是数据分析中相当重要的统计量。

2. R语言实现方法：median(x)

例如：

> median(Nile)
[1] 893.5

1.2.4 众数(Mode)

1. 定义

众数（Mode），在统计分布上具有明显集中趋势点的数值，代表数据的一般水平（众数可以不存在或多于一个）。

2. R语言实现方法：names(which.max(table(x)))

1.2.5 方差(Variance)、标准差(Standard Deviation)

1. 定义

样本中各数据与样本平均数的差的平方和的平均数叫做样本方差；样本方差的算术平方根叫做样本标准差。样本方差和样本标准差都是衡量一个样本波动大小的量，样本方差或样本标准差越大，样本数据的波动就越大。

2. 公式

3. R语言实现方法：

• 方差：var(x)
• 标准差：sd(x)

1.2.6 变异系数(Coefficient of Variation)

1. 定义

在概率论和统计学中，变异系数，又称“离散系数”，是概率分布离散程度的一个归一化量度。

2. 公式

σ:标准差，μ:平均值

3. R语言实现方法：sd(x)/mean(x)

例如：

> sd(Nile)/mean(Nile)
[1] 0.184073

1.2.6 全距(Range)(最小值、最大值)

1. 定义

全距(Range)，又称极差，是用来表示统计资料中的变异量数(measures of variation)，其最大值与最小值之间的差距；即最大值减最小值后所得之数据。
全距可以用ω(读做omega)来表示。

2. 公式

ω:全距，X_H:最大值，X_L:最小值

3. R语言实现方法：

• 最大值：max(x)
• 最小值：min(x)
• 全距：range(x)

1.2.7 四分位距(Quartile)(25%分位数、75%分位数)

1. 定义

内四分位距（interquartile range, IQR），是描述统计学中的一种方法，以确定第三四分位数和第一四分位数的分别（即Q_1, Q_3的差距）。与方差、标准差一样，表示统计资料中各变量分散情形，但四分差更多为一种稳健统计（robust statistic）。

2. 公式

四分位距：IQR=Q3-Q1
四分位差：QD=（Q3-Q1）/2

3. R语言实现方法：

• quantile(x)
• fivenum(x)
• 四分位距： S<-fivenum(x) S[3]-S[1]

例如

> quantile(Nile)
0%    25%    50%    75%   100%
456.0  798.5  893.5 1032.5 1370.0
> fivenum(Nile)
[1]  456.0  798.0  893.5 1035.0 1370.0

1.2.8 峰度(Kurtosis)

1. 定义

在统计学中，峰度（Kurtosis）又称峰态系数，用来衡量实数随机变量概率分布的峰态。峰度高就意味着方差增大是由低频度的大于或小于平均值的极端差值引起的。峰度刻划不同类型的分布的集中和分散程序。设分布函数F(x)有中心矩μ_2, μ_4，则C_k=μ_4/(μ_2^2 )-3为峰度系数。

2. 公式

3. 距

1) 原点距(moment about origin)

对于正整数k，如果E(X^k)存在，称μ^k=E(X^k)为随机变量X的k阶原点矩。X的数学期望（均值）是X的一阶原点矩，即E(X)=μ^1。

2) 中心距(moment about centre)

对于正整数k，如果E(X)存在，且E([X – EX]k)也存在，则称E([X-EX]k)为随机变量X的k阶中心矩。如X的方差是X的二阶中心矩，即D(X)= E([X-EX]2)

4. R语言实现方法：kurtosis(x)

例如：

> library(PerformanceAnalytics)
> kurtosis(Nile)
[1] -0.3049068

1.2.9 偏度(Skewness)

1. 定义

在机率论和统计学中，偏度衡量实数随机变量概率分布的不对称性。偏度的值可以为正，可以为负或者甚至是无法定义。在数量上，偏度为负（负偏态）就意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值（包括中位数在内）位于平均值的右侧。偏度为正（正偏态）就意味着在概率密度函数右侧的尾部比左侧的长，绝大多数的值（包括中位数在内）位于平均值的左侧。偏度为零就表示数值相对均匀地分布在平均值的两侧，但不一定意味着其为对称分布。

2. 公式

当Cs>0时，概率分布偏向均值右则,Cs<0时，概率分布偏向均值左则。

3. R语言实现方法：skewness(x)

例如：

> library(PerformanceAnalytics)
> skewness(Nile)
[1] 0.3223697