Rhadoop安装
1.ubuntu,hadoop,R,jdk安装好
2.下载Rhadoop项目的的三个包,rmr,hdfs,rHBase存放到Downloads/R。
3.切换到root
4.安装依赖的库
~R CMD javareconf
~R
>install.packages("rJava")
reshape2,Rcpp,iterators,itertools,digest,RJSONIO,functional
5.安装rhdfs库
环境变量
export JAVA_HOME=/home/csf/Downloads/jdk1.8.0_31
HADOOP_CMD=/home/csf/Downloads/hadoop/bin/hadoop
HADOOP_STREAMING=/home/csf/Downloads/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar
6.
csf@ubuntu:~/Downloads/hadoop$ . /etc/environment
csf@ubuntu:~/Downloads/hadoop$ cd ..
csf@ubuntu:~/Downloads$ R CMD INSTALL /R/rhdfs_1.0.8.tar.gz
Warning: invalid package ‘/R/rhdfs_1.0.8.tar.gz’
Error: ERROR: no packages specified
csf@ubuntu:~/Downloads$ R CMD INSTALL /R/rhdfs_1.0.8.tar.gz
Warning: invalid package ‘/R/rhdfs_1.0.8.tar.gz’
Error: ERROR: no packages specified
csf@ubuntu:~/Downloads$ R CMD INSTALL R/rhdfs_1.0.8.tar.gz
* installing to library ‘/usr/local/lib/R/site-library’
Error: ERROR: no permission to install to directory ‘/usr/local/lib/R/site-library’
csf@ubuntu:~/Downloads$ sudo su
[sudo] password for csf:
root@ubuntu:/home/csf/Downloads# R CMD INSTALL R/rhdfs_1.0.8.tar.gz
* installing to library ‘/usr/local/lib/R/site-library’
* installing *source* package ‘rhdfs’ ...
** R
** inst
** preparing package for lazy loading
** help
*** installing help indices
** building package indices
** testing if installed package can be loaded
* DONE (rhdfs)
root@ubuntu:/home/csf/Downloads# ^C
root@ubuntu:/home/csf/Downloads#
7.确保安装所有的库
这里Rcpp没有安装成功,折腾了半天,
使用下面这个命令删除了Rcpp的相关文件夹
http://zhidao.baidu.com/link?url=czeXx5lWhQc-ATAfgDN3YFaIsftg0D6KskzphiUi6s2a3uA4tbtN82365wo1_1LvwsQi--dY75GpquUYrgDana
8.重新安装plyr,reshape2等
9.
> library(rhdfs)
Loading required package: rJava
HADOOP_CMD=/home/csf/Downloads/hadoop/bin/hadoop
Be sure to run hdfs.init()
> hdfs.init()
15/03/11 21:55:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
>
Rhadoop安装的更多相关文章
- 【转】RHadoop实践系列之二:RHadoop安装与使用
RHadoop实践系列之二:RHadoop安装与使用 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法, ...
- 【转】RHadoop实践系列之一:Hadoop环境搭建
RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来 ...
- R语言中文社区历史文章整理(类型篇)
R语言中文社区历史文章整理(类型篇) R包: R语言交互式绘制杭州市地图:leafletCN包简介 clickpaste包介绍 igraph包快速上手 jiebaR,从入门到喜欢 Catterpl ...
- CentOS6.5安装RHadoop
1.首先安装依赖包(各个节点都要安装) [root@Hadoop-NN-01 ~]$ yum install gcc-gfortran #否则报”configure: error: No F77 co ...
- [入门]bower安装和使用
bower安装和使用 字数745 阅读10127 评论2 喜欢3 bower的安装 1,首先在我的系统 安装 nodejs.因为我的系统是windows,还需要安装msysgit,注意图二中的选项 m ...
- RHadoop计算平台搭建
原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3824554.html 本文基于CentOS6.4系统介绍基于RHadoop平台的搭建,Hadoop的搭建可以参考ht ...
- 配置RHadoop与运行WordCount例子
1.安装R语言环境 su -c 'rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch. ...
- 【转】Hive安装及使用攻略
Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments Hive安装及使用攻略 让Hadoop跑在云端系列文章, ...
- CentOS 7下安装Hadoop2.2
这里就介绍CentOS的安装了,直接进入Hadoop2.2伪分布模式安装. 1.安装包下载 1.1.下载JDK1.7 眼下JDK的版本号是jdk1.8.0_25.这里下载的是jdk1.7.0_67. ...
随机推荐
- JDK动态代理和cglib代理
写一个简单的测试用例,Pig实现了Shout接口 public class MyInvocation implements InvocationHandler { Object k; public M ...
- Luogu P4551 最长异或路径 01trie
做一个树上前缀异或和,然后把前缀和插到$01trie$里,然后再对每一个前缀异或和整个查一遍,在树上从高位向低位贪心,按位优先选择不同的,就能贪出最大的答案. #include<cstdio&g ...
- 判断文件是否存在 local/hdfs
在Linux文件系统中,我们可以使用下面的Shell脚本判断某个文件是否存在: # 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then ech ...
- 设计模式——原型模式(Prototype)
用原型实例指定创建对象的种类,并通过拷贝这些原型创建新的对象.——DP UML类图 模式说明 如果把在一张纸上手写一篇简历的过程看成是类的实例化过程,那么通过原型模式创建对象的过程就是拿着这张纸到复印 ...
- C. Glass Carving 正着做或者倒着做都可以
http://codeforces.com/problemset/problem/527/C 这题总体思路就是,每画一条线,然后就找到x间距的最max值和y间距的最max值,相乘就是当前的ans 那么 ...
- 解决Hadoop无法加载本地库的问题: Unable to load native-hadoop library for your platform
今天跑Hadoop程序时一直提示我无法加载本地库,然后就直接退出运行了,如下图所示. 原因是由于Apache提供的Hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的 ...
- 用简单的方法学习ES6
ES6 简要概览 这里是ES6 简要概览.本文大量参考了ES6特性代码仓库,请允许我感谢其作者@Luke Hoban的卓越贡献,也感谢@Axel Rauschmayer所作的[优秀书籍]//explo ...
- mysql查询索引
mysql在使用like查询中,能不能用到索引?在什么地方使用索引呢? 在使用like的时候,如果使用‘%%’,会不会用到索引呢? EXPLAIN SELECT * FROM `user` WHERE ...
- JavaScript随机生成颜色以及十六进制颜色 与RGB颜色值的相互转换
/** * 随机生成颜色 * @return 随机生成的十六进制颜色 */ function randomColor(){ var colorStr=Math.floor(Math.random()* ...
- 第6章 传输层(详解TCP的三次握手与四次挥手)
第6章 传输层 传输层简介 传输层为网络应用程序提供了一个接口,并且能够对网络传输提供了可选的错误检测.流量控制和验证功能.TCP/IP传输层包含很多有用的协议,能够提供数据在网络传输所需的必要寻址信 ...