R语言编程艺术(5)R语言编程进阶
本文对应《R语言编程艺术》
第14章:性能提升:速度和内存;
第15章:R与其他语言的接口;
第16章:R语言并行计算
=========================================================================
性能提升:速度和内存
要使R代码运行速度更快,有以下建议:
- 通过向量化的方式优化、使用字节码编译等;
- 将代码中最消耗CPU的核心部分用编译型语言编写,如C或C++;
- 将代码用某种并行的方式编写。
消除显示循环:
采用向量化提升速度,因为采用显示循环涉及多次函数调用和迭代,耗费时间,而向量化函数内部是用编译型语言实现,因此会提升速度。
常用的加速代码的向量化函数:ifelse() /which() /where() /any() /all() /cumsum() /cumprod()等函数;用于矩阵的rowSums() /colSums()等函数;用于穷举所有组合问题的combn() /outer() /lower.tri() /upper.tri() /expand.grid()等函数。
尽管apply()可以消除显式循环,但它实际上是用R而不是C实现的,因此它通常并不能加速代码,只是使代码更加紧凑。然而,其他的apply函数,如lapply(),对于加速代码是非常有帮助的。
利用Rprof()来寻找代码的瓶颈:
首先调用Rprof()来开启监视器,然后运行代码,再调用带NULL参数的Rprof()来结束监视。最后,调用summaryRprof()来查看结果。
内存管理:
数据分块:read.table()函数的skip参数设置,可以分块读取数据。
R软件包的内存管理:RMySQL,提供R与MySQL的接口,将选择数据的操作放在数据库端;biglm包,可以在非常大的数据集上进行回归和广义线性模型的分析;ff包,通过将数据存放在硬盘上来回避内存的限制;bigmemory包,功能类似,但它不仅可以将数据存储在硬盘上,还可以将数据保存在机器的主内存中,这对于多核的机器而言是一个理想的选择。
=========================================================================
R与其他语言的接口
能被R调用的C/C++函数:
一般而言,这样做的目的是提升程序的性能;另一个原因是使用特殊的I/O操作(例如R使用的TCP协议速度不如C/C++使用的UDP协议)。
接口可以通过.C()或.Call()实现。.Call()提供了更全面的功能,但使用它需要对R的内部结构有所了解。
注意:C语言中,二维数组是按行进行存储的,而在R中则是按列存储;C语言下标是从0开始,而在R中是从1开始。
从Python调用R:
Python缺少内置的统计和数据处理功能,可以通过R来弥补。
RPy是一个Python模块,允许在Python中使用R。如果希望有额外的性能提升,则可以考虑与NumPy共同使用。
语法:R中的对象(函数)名冠上r.前缀。
注意:Python的语法中没有波浪号,因此在指定模型表达式时需要使用字符串;
需要一个数据框来包含数据;
如果R的函数名中带有英文句点,那么需要在Python中改为下划线。
>>> r.library(‘lattice’)
>>> r.assign(‘a’, a)
>>> r.assign(‘b’, b)
>>> r(‘g <- expand.grid(a, b)’)
>>> r(‘g$Var3 <- g$Var1^2 + g$Var1 * g$Var2’)
>>> r(‘wireframe(Var3 ~ Var1 + Var2, g)’)
>>> r(‘plot(wireframe(Var3 ~ Var1 + Var2, g))’)
=========================================================================
R语言并行计算
Snow包简介:主要过程:
- 加载代码
- 加载snow包
- 创建snow集群
- 建立相关的邻接矩阵
- 在创建的集群上针对邻接矩阵运行代码
OpenMP包:
利用R调用并行化的C
常用指令:
#pragma omp barrier |
迭代型算法中常用,线程将在屏障处进行等待,直到每次迭代的结束 |
#pragma omp critical { // place one or more statements here } |
紧接着这一指令的代码块称为一个“关键区域”(critical section),意思是在这个区域中同时只允许一个线程执行这段代码 |
#pragma omp single { // place one or more statements here } |
紧接着这一指令的代码块将只被一个线程执行 |
简单并行(embarrassingly parallel):
指那些线程与线程之间不需要进行交互的并行方式,它们往往只需要将原始的程序稍加修改即可实现并行。这样,不仅编写简单,而且有着极地的通信开销。
静态和动态任务分配:
总体来说,动态任务分配因为有可能产生严重的缓存开销,因此实际上性能不如静态分配。
R语言编程艺术(5)R语言编程进阶的更多相关文章
- R语言编程艺术(4)R对数据、文件、字符串以及图形的处理
本文对应<R语言编程艺术> 第8章:数学运算与模拟: 第10章:输入与输出: 第11章:字符串操作: 第12章:绘图 =================================== ...
- R语言编程艺术(3)R语言编程基础
本文对应<R语言编程艺术> 第7章:R语言编程结构: 第9章:面向对象的编程: 第13章:调试 ============================================== ...
- R语言编程艺术(2)R中的数据结构
本文对应<R语言编程艺术>第2章:向量:第3章:矩阵和数组:第4章:列表:第5章:数据框:第6章:因子和表 ======================================== ...
- R语言编程艺术(1)快速入门
这本书与手上其他的R语言参考书不同,主要从编程角度阐释R语言,而不是从统计角度.因为之前并没有深刻考虑这些,因此写出的代码往往是一条条命令的集合,并不像是“程序”,因此,希望通过学习这本书,能提高编程 ...
- <R语言编程艺术>的一个错误以及矩阵相加
R语言编程艺术讲矩阵这节时,举了个随机噪声模糊罗斯福总统画像的例子.但是里面似乎有个错误,例子本意是区域外的值保持不变,而选定区域的值加一个随机值,但是实际情况是两个行列不相等的矩阵相加,会报错,如果 ...
- R语言编程艺术# 矩阵(matrix)和数组(array)
矩阵(matrix)是一种特殊的向量,包含两个附加的属性:行数和列数.所以矩阵也是和向量一样,有模式(数据类型)的概念.(但反过来,向量却不能看作是只有一列或一行的矩阵. 数组(array)是R里更一 ...
- R语言编程艺术#02#矩阵(matrix)和数组(array)
矩阵(matrix)是一种特殊的向量,包含两个附加的属性:行数和列数.所以矩阵也是和向量一样,有模式(数据类型)的概念.(但反过来,向量却不能看作是只有一列或一行的矩阵. 数组(array)是R里更一 ...
- 编程实践中C语言的一些常见细节
对于C语言,不同的编译器采用了不同的实现,并且在不同平台上表现也不同.脱离具体环境探讨C的细节行为是没有意义的,以下是我所使用的环境,大部分内容都经过测试,且所有测试结果基于这个环境获得,为简化起见, ...
- 03--(二)编程实践中C语言的一些常见细节
编程实践中C语言的一些常见细节(转载) 对于C语言,不同的编译器采用了不同的实现,并且在不同平台上表现也不同.脱离具体环境探讨C的细节行为是没有意义的,以下是我所使用的环境,大部分内容都经过测试,且所 ...
随机推荐
- 【转】I²C总线上拉电阻阻值如何选择?
I2C总线为何需要上拉电阻? I2C(Inter-Intergrated Circuit)总线是微电子通信控制领域中常用的一种总线标准,具有接线少,控制方式简单,通信速率高等优点. I2C总线的内部结 ...
- java实现超大整数加减乘除四则运算
原理: 用数组存储数字,按照计算法则进行运算. 代码: package com.hdwang; import java.util.regex.Matcher; import java.util.reg ...
- 洛谷P3721 单旋
什么毒瘤...... 题意:模拟一棵单旋splay,求每次插入,splay最值,删除最值的操作次数. 解:乍一看感觉很神,又因为是LCT题单上的,然后就折磨了我好久,最后跑去看题解... 居然是手玩找 ...
- mysqldump --master-data=2 --single-transaction
转载于https://blog.csdn.net/linuxheik/article/details/714808821 mysqldump导出数据主要有两种控制:一种是导出的全过程都加锁 lock- ...
- Nginx 连接限制和访问控制Nginx 连接限制和访问控制
Nginx 连接限制和访问控制 前言 Nginx自带的模块支持对并发请求数进行限制, 还有对请求来源进行限制.可以用来防止DDOS攻击.阅读本文须知道nginx的配置文件结构和语法. 连接限制 l ...
- js完整教程一 : 基本概念和数组操作
文章提纲 JS相关常识 JS基本概念 实践 总结 JS相关常识 js是一种可以与HTML标记语言混合使用的脚本语言,其编写的程序可以直接在浏览器中解释执行. 一.组成 js是一种专门为网页交互设计的脚 ...
- IEnumerator和IEnumerable详解
IEnumerator和IEnumerable 从名字常来看,IEnumerator是枚举器的意思,IEnumerable是可枚举的意思. 了解了两个接口代表的含义后,接着看源码: IEnumerat ...
- 控制台console对象常用的一些方法
console.log():调试中最常用的方法,用于在控制台窗口显示信息. console.log(123); console.warn():输出信息时,在最前面加一个黄色三角,表示警告 consol ...
- 数链剖分(Housewife Wind )
题目链接:https://vjudge.net/contest/279350#problem/B 题目大意:给你n,q,s.n指的是有n个点,q代表有q次询问,s代表的是起点.然后接下来会有n-1条 ...
- C++ socket 网络编程 简单聊天室
操作系统里的进程通讯方式有6种:(有名/匿名)管道.信号.消息队列.信号量.内存(最快).套接字(最常用),这里我们来介绍用socket来实现进程通讯. 1.简单实现一个单向发送与接收 这是套接字的工 ...