本文对应《R语言编程艺术》

第14章:性能提升:速度和内存;

第15章:R与其他语言的接口;

第16章:R语言并行计算

=========================================================================

性能提升:速度和内存

要使R代码运行速度更快,有以下建议:

  1. 通过向量化的方式优化、使用字节码编译等;
  2. 将代码中最消耗CPU的核心部分用编译型语言编写,如C或C++;
  3. 将代码用某种并行的方式编写。

消除显示循环:

采用向量化提升速度,因为采用显示循环涉及多次函数调用和迭代,耗费时间,而向量化函数内部是用编译型语言实现,因此会提升速度。

常用的加速代码的向量化函数:ifelse() /which() /where() /any() /all() /cumsum() /cumprod()等函数;用于矩阵的rowSums() /colSums()等函数;用于穷举所有组合问题的combn() /outer() /lower.tri() /upper.tri() /expand.grid()等函数。

尽管apply()可以消除显式循环,但它实际上是用R而不是C实现的,因此它通常并不能加速代码,只是使代码更加紧凑。然而,其他的apply函数,如lapply(),对于加速代码是非常有帮助的。

利用Rprof()来寻找代码的瓶颈:

首先调用Rprof()来开启监视器,然后运行代码,再调用带NULL参数的Rprof()来结束监视。最后,调用summaryRprof()来查看结果。

内存管理:

数据分块:read.table()函数的skip参数设置,可以分块读取数据。

R软件包的内存管理:RMySQL,提供R与MySQL的接口,将选择数据的操作放在数据库端;biglm包,可以在非常大的数据集上进行回归和广义线性模型的分析;ff包,通过将数据存放在硬盘上来回避内存的限制;bigmemory包,功能类似,但它不仅可以将数据存储在硬盘上,还可以将数据保存在机器的主内存中,这对于多核的机器而言是一个理想的选择。

=========================================================================

R与其他语言的接口

能被R调用的C/C++函数:

一般而言,这样做的目的是提升程序的性能;另一个原因是使用特殊的I/O操作(例如R使用的TCP协议速度不如C/C++使用的UDP协议)。

接口可以通过.C()或.Call()实现。.Call()提供了更全面的功能,但使用它需要对R的内部结构有所了解。

注意:C语言中,二维数组是按行进行存储的,而在R中则是按列存储;C语言下标是从0开始,而在R中是从1开始。

从Python调用R:

Python缺少内置的统计和数据处理功能,可以通过R来弥补。

RPy是一个Python模块,允许在Python中使用R。如果希望有额外的性能提升,则可以考虑与NumPy共同使用。

语法:R中的对象(函数)名冠上r.前缀。

注意:Python的语法中没有波浪号,因此在指定模型表达式时需要使用字符串;

需要一个数据框来包含数据;

如果R的函数名中带有英文句点,那么需要在Python中改为下划线。

>>> r.library(‘lattice’)
>>> r.assign(‘a’, a)
>>> r.assign(‘b’, b)
>>> r(‘g <- expand.grid(a, b)’)
>>> r(‘g$Var3 <- g$Var1^2 + g$Var1 * g$Var2’)
>>> r(‘wireframe(Var3 ~ Var1 + Var2, g)’)
>>> r(‘plot(wireframe(Var3 ~ Var1 + Var2, g))’)

=========================================================================

R语言并行计算

Snow包简介:主要过程:

  1. 加载代码
  2. 加载snow包
  3. 创建snow集群
  4. 建立相关的邻接矩阵
  5. 在创建的集群上针对邻接矩阵运行代码

OpenMP包:

利用R调用并行化的C

常用指令:

#pragma omp barrier

迭代型算法中常用,线程将在屏障处进行等待,直到每次迭代的结束

#pragma omp critical

{

// place one or more statements here

}

紧接着这一指令的代码块称为一个“关键区域”(critical section),意思是在这个区域中同时只允许一个线程执行这段代码

#pragma omp single

{

// place one or more statements here

}

紧接着这一指令的代码块将只被一个线程执行

简单并行(embarrassingly parallel):

指那些线程与线程之间不需要进行交互的并行方式,它们往往只需要将原始的程序稍加修改即可实现并行。这样,不仅编写简单,而且有着极地的通信开销。

静态和动态任务分配:

总体来说,动态任务分配因为有可能产生严重的缓存开销,因此实际上性能不如静态分配。

R语言编程艺术(5)R语言编程进阶的更多相关文章

  1. R语言编程艺术(4)R对数据、文件、字符串以及图形的处理

    本文对应<R语言编程艺术> 第8章:数学运算与模拟: 第10章:输入与输出: 第11章:字符串操作: 第12章:绘图 =================================== ...

  2. R语言编程艺术(3)R语言编程基础

    本文对应<R语言编程艺术> 第7章:R语言编程结构: 第9章:面向对象的编程: 第13章:调试 ============================================== ...

  3. R语言编程艺术(2)R中的数据结构

    本文对应<R语言编程艺术>第2章:向量:第3章:矩阵和数组:第4章:列表:第5章:数据框:第6章:因子和表 ======================================== ...

  4. R语言编程艺术(1)快速入门

    这本书与手上其他的R语言参考书不同,主要从编程角度阐释R语言,而不是从统计角度.因为之前并没有深刻考虑这些,因此写出的代码往往是一条条命令的集合,并不像是“程序”,因此,希望通过学习这本书,能提高编程 ...

  5. <R语言编程艺术>的一个错误以及矩阵相加

    R语言编程艺术讲矩阵这节时,举了个随机噪声模糊罗斯福总统画像的例子.但是里面似乎有个错误,例子本意是区域外的值保持不变,而选定区域的值加一个随机值,但是实际情况是两个行列不相等的矩阵相加,会报错,如果 ...

  6. R语言编程艺术# 矩阵(matrix)和数组(array)

    矩阵(matrix)是一种特殊的向量,包含两个附加的属性:行数和列数.所以矩阵也是和向量一样,有模式(数据类型)的概念.(但反过来,向量却不能看作是只有一列或一行的矩阵. 数组(array)是R里更一 ...

  7. R语言编程艺术#02#矩阵(matrix)和数组(array)

    矩阵(matrix)是一种特殊的向量,包含两个附加的属性:行数和列数.所以矩阵也是和向量一样,有模式(数据类型)的概念.(但反过来,向量却不能看作是只有一列或一行的矩阵. 数组(array)是R里更一 ...

  8. 编程实践中C语言的一些常见细节

    对于C语言,不同的编译器采用了不同的实现,并且在不同平台上表现也不同.脱离具体环境探讨C的细节行为是没有意义的,以下是我所使用的环境,大部分内容都经过测试,且所有测试结果基于这个环境获得,为简化起见, ...

  9. 03--(二)编程实践中C语言的一些常见细节

    编程实践中C语言的一些常见细节(转载) 对于C语言,不同的编译器采用了不同的实现,并且在不同平台上表现也不同.脱离具体环境探讨C的细节行为是没有意义的,以下是我所使用的环境,大部分内容都经过测试,且所 ...

随机推荐

  1. 洛谷 P2245 星际导航 解题报告

    P2245 星际导航 题目描述 sideman做好了回到Gliese 星球的硬件准备,但是sideman的导航系统还没有完全设计好.为了方便起见,我们可以认为宇宙是一张有N 个顶点和M 条边的带权无向 ...

  2. 整除分块学习笔记+[CQOI2007]余数求和(洛谷P2261,BZOJ1257)

    上模板题例题: [CQOI2007]余数求和 洛谷 BZOJ 题目大意:求 $\sum^n_{i=1}k\ mod\ i$ 的值. 等等……这题就学了三天C++的都会吧? $1\leq n,k\leq ...

  3. 【uoj3】 NOI2014—魔法森林

    http://uoj.ac/problem/3 (题目链接) 题意 给出一张带权图,每条边有两个权值A和B,一条路径的花费为路径中的最大的A和最大的B之和.求从1走到n的最小花费. Solution ...

  4. 洛谷P2672 推销员

    沙雕贪心...... 我一开始想的是倒着来,每次减去一个. 然后我们就有两个决策:去掉最后一个/去掉前面某一个. 然后第一个决策用并查集维护,第二个决策用线段树即可.仔细想想觉得普及组不会考这种东西, ...

  5. INF文件详解

    安装信息(Setup Information)文件是Windows系统支持的一种安装信息存放文件,一般以INF作为扩展名,因此也叫INF文件.安装信息INF文件与Windows内建的安装服务引擎(AP ...

  6. log4j2打印jdbcTemplate的sql以及参数

    log4j2打印jdbcTemplate的sql以及参数 ——IT唐伯虎 摘要: log4j2打印jdbcTemplate的sql以及参数. 在log4j2.xml加上这两个logger即可: < ...

  7. Git 操作指南

    http://blog.csdn.net/troy__/article/details/40082657

  8. Sortable.js

    拖拽的时候主要由这几个事件完成, ondragstart 事件:当拖拽元素开始被拖拽的时候触发的事件,此事件作用在被拖曳元素上 ondragenter 事件:当拖曳元素进入目标元素的时候触发的事件,此 ...

  9. HDU 1005 Number Sequence (模拟)

    题目链接 Problem Description A number sequence is defined as follows: f(1) = 1, f(2) = 1, f(n) = (A * f( ...

  10. 解决MySQL新增用户无法登陆问题

    1. 新增用户 grant all on *.* to '库名'@'%' identified by '库名'; 2. 刷新授权表 flush privileges; 3. 删除空用户 use mys ...