R语言中的线性判别分析_r语言
线性判别分析

在R语言中，线性判别分析（Liner
Discriminant
Analysis，简称LDA），依靠软件包MASS中有线性判别函数lqa()来实现。该函数有三种调用格式：

1）当对象为数据框data.frame时

lda(x,grouping,prior = propotions,tol = 1.0e-4,method,CV =
FALSE,nu,…)

2) 当对象为公式Formula时

lda(formula,data,…,subnet,na.action)

3) 当对象为矩阵Matrix时

lda(x,group,…,subnet,na.action)

对于第一种情况，grouping表示每个观测样本的所属类别；

prior表示各类别的先验概率，默认取训练集中各样本的比例；

tol表示筛选变量，默认取0.0001

对于第二种情况，formula表示判别公式，比如，y~x1 x2 x3,或者y~x1*x1

data表示数据集

subnet表示样本

na.action表示处理缺失值的方法，默认为“如果样本中有缺失值，则lda()函数无法运行”；如果设置为na.omit，则表示“自动删除样本中的缺失值，然后，进行计算”

对于第三种情况，x表示矩阵

data表示数据集

subnet表示样本

na.action表示处理缺失值的方法，默认为“如果样本中有缺失值，则lda()函数无法运行”；如果设置为na.omit，则表示“自动删除样本中的缺失值，然后，进行计算”

线性判别分析">

下面，举一个例子，来说明线性判别分析。我们选用kknn软件包中的miete数据集进行算法演示。miete数据集记录了1994年慕尼黑的住房佣金标准中一些有趣变量，比如房子的面积、是否有浴室、是否有中央供暖、是否供应热水等等，这些因素都影响着佣金的高低。

1.数据概况

首先，简单了解一下，miete数据集。

> library(kknn) > data(miete)
> head(miete)

nm wfl     bj bad0 zh ww0 badkach
fenster kueche mvdauer bjkat wflkat

1  693.29  50 1971.5
   0  1
  0    
  0    
  0    
 0    
  2     4
     1

2  736.60  70 1971.5
   0  1
  0    
  0    
  0    
 0    
 26     4
     2

3  732.23  50 1971.5
   0  1
  0    
  0    
  0    
 0    
  1     4
     1

4 1295.14  55 1893.0  
 0  1   0
      0
      0
     0
      0
    1  
   2

5  394.97  46 1957.0
   0  0
  1    
  0    
  0    
 0    
 27     3
     1

6 1285.64  94 1971.5  
 0  1   0
      1
      0
     0
      2
    4  
   3

nmqm rooms nmkat adr wohn

1 13.865800     1
    3   2
   2

2 10.522857     3
    3   2
   2

3 14.644600     1
    3   2
   2

4 23.548000     3
    5   2
   2

5  8.586304    
3     1   2
   2

6 13.677021     4
    5   2
   2

> dim(miete)

[1] 1082   17

我们看到，该数据集一共有1082条样本，和17个变量。下面，我们利用summary（）来查看变量的信息。

> summary(miete)

nm      
     
 wfl    
     
    bj  
    bad0  
  zh    
 ww0

Min.   : 127.1   Min.
  : 20.00   Min.
  :1800   0:1051
  0:202   0:1022

1st Qu.: 543.6   1st Qu.: 50.25  
1st Qu.:1934   1:  31
  1:880   1:
 60

Median : 746.0   Median : 67.00  
Median :1957

Mean   : 830.3   Mean
  : 69.13   Mean
  :1947

3rd Qu.:1030.0   3rd Qu.: 84.00  
3rd Qu.:1972

Max.   :3130.0   Max.
  :250.00   Max.
  :1992

badkach fenster  kueche  
  mvdauer    
 bjkat   wflkat
      nmqm

0:446   0:1024   0:980
  Min.   : 0.00
  1:218   1:271
  Min.   : 1.573

1:636   1:  58  
1:102   1st Qu.: 2.00   2:154
  2:513   1st Qu.: 8.864

Median : 6.00   3:341   3:298
  Median :12.041

Mean   :10.63   4:226
     
    Mean  
:12.647

3rd Qu.:17.00   5: 79  
     
  3rd Qu.:16.135

Max.   :82.00   6: 64
     
    Max.  
:35.245

rooms      
nmkat   adr    
 wohn

Min.   :1.000   1:219
  1:  25   1:
90

1st Qu.:2.000   2:230   2:1035
  2:673

Median :3.000   3:210   3:
 22   3:319

Mean   :2.635   4:208

3rd Qu.:3.000   5:215

Max.   :9.000

我们可以选择nmkat(净租金)作为
待判别变量—一是，由于该变量在含义上容易受其他变量影响，为被解释变量；二是，nmkat自身就有5个等级类别，其相应的样本量依次为
219、230、210、208、215，即每一类的样本量都为200个左右，分布比较均匀。

2.数据预处理

下面，我们将miete数据集，分为训练集和测试集。

为了提高判别效果，我们考虑采用分层抽样的方式，由于miete数据集中，待判别变量nmkat的5个等级分布比较均匀，因此采用5个等级按等量抽取样本。（如果分布不均匀，则采用按比例抽取样本）。具体如下：

> library(sampling) > n =
round(2/3*nrow(miete)/5) > n

[1] 144

可以看到，训练集占总样本的2/3，测试集占总样本的1/3，从训练集中nmkat变量的每一个等级抽取的样本数是144个。

> #以nmkat变量的5个等级划分层次，进行分层抽样 >
sub_train = strata(miete,stratanames =
"nmkat",size=rep(n,5),method="srswor") >
head(sub_train)

#显示训练集抽取的情况，包括nmkat变量取值、该样本在数据集中的序号、被抽取的概率、以及被抽取的层次。

nmkat ID_unit    
 Prob Stratum

1      3
      1
0.6857143      
1

2      3
      2
0.6857143      
1

3      3
      3
0.6857143      
1

16     3  
   16 0.6857143
      1

20     3  
   20 0.6857143
      1

22     3  
   22 0.6857143
      1

>

> #获取如上ID_unit所对应的样本构成训练集，并删除变量1、3、12
> data_train =
getdata(miete[,c(-1,-3,-12)],sub_train$ID_unit) >
data_test = getdata(miete[,c(-1,-3,-12)],-sub_train$ID_unit)
> dim(data_train); dim(data_test)
#分别显示训练集、测试集的维度

[1] 720  14

[1] 362  14

> head(data_test)

wfl bad0 zh ww0 badkach fenster kueche mvdauer bjkat
     nmqm rooms
nmkat

7   28    0
 1   0  
    0  
    1  
   1  
    9  
  4 17.011071  
  1     1

8   36    0
 1   0  
    0  
    0  
   1  
    3  
  4 19.710278  
  1     3

9   33    0
 1   0  
    0  
    0  
   0  
    1  
  4 25.840606  
  1     4

10  57    0
 1   0  
    1  
    0  
   1  
    9  
  6 11.534035  
  2     2

11  75    0
 1   0  
    1  
    0  
   1  
    3  
  6 16.504533  
  3     5

17  79    0
 1   0  
    0  
    0  
   0  
   20  
  4  7.507215  
  3     2

adr wohn

7    2  
 2

8    2  
 2

9    2  
 2

10   2  
 2

11   2  
 2

17   2    2

至此，数据理解和数据预处理过程结束，得到可以直接使用的训练集data_train和测试集data_test。

3.线性判别

这里使用公式formula格式，进行判别。首先要加载软件包MASS,接着使用nmkat作为待判别变量，其他变量作为特征变量，根据公式nmkat~.
（如果变量为y，则公式为y~. ） ，使用训练集data_train来运行 lda()函数。

> library(MASS) > fit_lda1 =
lda(nmkat~., data_train) #以公式格式进行线性判别 >
names(fit_lda1) > fit_lda1$prior

1   2   3   4
  5

0.2 0.2 0.2 0.2 0.2

我们可以看到，各类别的先验概率在5个等级中都为0.2，之和为1，即它们都相等，这与它们分别均匀对应。

> fit_lda1$means

wfl       bad01
      zh1
     
 ww01  badkach1
  fenster1  
 kueche1

1 54.87500 0.055555556 0.6041667 0.138888889 0.3888889 0.06944444
0.04166667

2 60.59722 0.013888889 0.8125000 0.027777778 0.5486111 0.08333333
0.04166667

3 66.76389 0.013888889 0.8194444 0.041666667 0.5208333 0.06944444
0.07638889

4 74.70833 0.013888889 0.8750000 0.041666667 0.6458333 0.03472222
0.07638889

5 90.10417 0.006944444 0.9375000 0.006944444 0.7708333 0.04166667
0.20833333

mvdauer     bjkat.L
     bjkat.Q
     bjkat.C
   bjkat^4  
  bjkat^5

1 14.444444 -0.21580517 -0.104562739  0.031056500
0.17323372 -0.17585847

2 11.923611 -0.12450298 -0.211398581 -0.002588042 0.20604313
-0.12642562

3 11.847222 -0.12782306 -0.145478593  0.049690399
0.16273470 -0.07349309

4 10.347222 -0.08964215 -0.127293769 -0.035197366 0.12861291
 0.01137393

5  5.333333 -0.04482107 -0.009092412
 0.018633900 0.02624753 -0.01574852

nmqm    rooms  
     adr.L
     adr.Q
    wohn.L  
  wohn.Q

1  8.231574 2.173611 -0.019641855 -0.7654655
0.03437325 -0.3997431

2 10.988627 2.416667 -0.034373246 -0.7569604 0.08838835
-0.4252586

3 12.495436 2.597222 -0.019641855 -0.7654655 0.11294067
-0.3487121

4 14.107342 2.861111  0.004910464 -0.7909811
0.16695577 -0.3912379

5 17.108865 3.250000  0.019641855 -0.7484552
0.27498597 -0.2041241

从上面的结果中，可以看到一些很能反映现实情况的数据特征。比如，住房面积wfl变量，它明显随着租金nmkat的升高而逐步提高。这与我们的常识“房子的面积越大，租金就越贵”是十分吻合的。

R语言中的线性判别分析_r语言 线性判别分析的更多相关文章

  1. C语言中的栈和堆

    原文出处<http://blog.csdn.net/xiayufeng520/article/details/45956305#t0> 栈内存由编译器分配和释放,堆内存由程序分配和释放. ...

  2. 详解Go语言中的屏蔽现象

    在刚开始学习Go语言的过程中,难免会遇到一些问题,尤其是从其他语言转向Go开发的人员,面对语法及其内部实现的差异,在使用Go开发时也避免不了会踩"坑".本文主要针对Go设计中的屏蔽 ...

  3. Golang 入门系列（五）GO语言中的面向对象

    前面讲了很多Go 语言的基础知识,包括go环境的安装,go语言的语法等,感兴趣的朋友可以先看看之前的文章.https://www.cnblogs.com/zhangweizhong/category/ ...

  4. C语言中时钟编程

    目录 C语言中时钟编程 1. 文章目的 2.基本概念 2.1 UTC时间 2.2 UNIX纪元时间 2.3 格林威治时间 (GMT) 3.时间转换 3.1 asctime函数 3.2 ctime函数 ...

  5. C语言中的异常处理

    一 前言: 异常处理,对于做面向对象开发的开发者来说是再熟悉不过了,例如在C#中有 try { ... } catch( Exception e){...} finally{ ..... } 在C++ ...

  6. R软件导入数据_r语言怎么导入数据_R软件导入数据

    R软件导入数据_r语言怎么导入数据_R软件导入数据 R软件导入数据 1.Rcmdr安装包导入数据: 1.安装Rcmdr包,输入: install.packages("Rcmdr") ...

  7. （转）R语言 SVM支持向量机在 R 语言中的实现和使用

    支持向量机是一个相对较新和较先进的机器学习技术,最初提出是为了解决二类分类问题,现在被广泛用于解决多类非线性分类问题和回归问题.继续阅读本文,你将学习到支持向量机如何工作,以及如何利用R语言实现支持向 ...

  8. 机器学习：R语言中如何使用最小二乘法

    详细内容见上一篇文章:http://www.cnblogs.com/lc1217/p/6514734.html 这里只是介绍下R语言中如何使用最小二乘法解决一次函数的线性回归问题. 代码如下:(数据同 ...

  9. R+openNLP︱openNLP的六大可实现功能及其在R语言中的应用

    每每以为攀得众山小,可.每每又切实来到起点,大牛们,缓缓脚步来俺笔记葩分享一下吧,please~ --------------------------- openNLP是NLP中比较好的开源工具,R语 ...

随机推荐

  1. 关于h5打包后 wag包无法安装的问题

    如果不是逻辑错误,那么有可能是下列三种情况之一, 1 wgt打包时的appid与安装包不符 2 打包wgt文件和打包安装包文件 用的不是同一个HBuilder账户 3 安装包打包时权限配置,和wgt包 ...

  2. jq-demo-购物车

    首页 <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title& ...

  3. 继承中的隐藏（hide）重写（Override）和多态（Polymorphism）

    继承中的隐藏:(不要使用隐藏,语法没有错误但是开发项目时会被视为错误) 在继承类中完全保留基类中的函数名 //基类,交通工具 class Vehicle { public void Run() { C ...

  4. PHP headers_sent() 函数

    定义和用法 headers_sent() 函数检查 HTTP 报头是否发送/已发送到何处. 如果报头已发送,该函数返回 TRUE,否则返回 FALSE. 语法 headers_sent(file,li ...

  5. BZOJ 3534: [Sdoi2014]重建(Matrix Tree)

    传送门 解题思路 比较容易看的出来矩阵树定理.然后就怒送一Wa,这个矩阵树定理是不能直接用的.题目要求的其实是这个玩意. \[ ans=\sum\limits_{Tree}( \prod\limits ...

  6. idea和eclipse快捷键对比(转)

    分类 功能点 Eclipse快捷键 IDEA快捷键 搜索 搜索文本 Ctrl + F Ctrl + F Ctrl + R 查找替换 Alt + P/A 逐个/全部替换 Alt + F3 查找当前选中词 ...

  7. opencv-角点检测之Harris角点检测

    转自:https://blog.csdn.net/poem_qianmo/article/details/29356187 先看看程序运行截图:   一.引言:关于兴趣点(interest point ...

  8. nginx中reuqest_uri与uri的区别说明

    reuqest_uri:即客户端发送来的原生请求URI,包括请求参数 uri:请求URI,不包括任何请求参数 举例说明: 1.比如客户端以 get 方式请求 /admin 页面,并且带 id 和 na ...

  9. kafka 批量添加topic 副本数

    shell 脚本: 1)列出只有一个副本的topic,保存到一个文件中: [root@hdp05 src]# cat fush.sh #!/bin/bash # topics=`/usr/hdp//k ...

  10. spark集群进入 bin 下面目录./spark-shell 出现Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    spark集群启动的时候可以正常,进入 ./spark-shell 就会出现如下错误 配置文件:spark-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_51e ...