Ubuntu 14.10 下安装Spark
Spark 是一种与 Hadoop 相似的开源集群计算环境,不过最近非常火.下面介绍安装步骤.
1 安装scala
1.1 我选用的是2.11.4,下载地址http://www.scala-lang.org/download/
1.2 解压到文件夹
tar -xzvf scala-2.11..tgz
1.3 设置环境变量
sudo nano /etc/profile
export SCALA_HOME=/home/liucc/software/spark/scala-2.11.
export PATH=$PATH:$SCALA_HOME/bin
1.4 检查是否安装成功
scala -version
2 安装Spark
2.0 Spark编译的话,可以用MVN,SBT,和他自带的make-distribution.sh文件
sbt/sbt assembly -Phadoop-2.6 -Dhadoop.version=2.6. -Pyarn -Dyarn.version=2.6. -Pspark-ganglia-lgpl -Pkinesis-asl -Phive mvn -Phadoop-2.6 -Dhadoop.version=2.6. -Pyarn -Dyarn.version=2.6. -Pspark-ganglia-lgpl -Pkinesis-asl -Phive -DskipTests clean package
./make-distribution.sh --tgz --name 2.6. -Pyarn -Phadoop-2.6 -Pspark-ganglia-lgpl -Phive -DskipTests
2.1 下载编译好的spark,我是看了这个博主写的http://www.aboutyun.com/thread-8160-1-1.html,我选的是hadoop2.2.0
tar -xzvf spark-1.0.-bin-hadoop2.tgz
2.3 设置SPARK_HOME
export SPARK_EXAMPLES_JAR=/home/liucc/software/spark/spark-1.0./examples/target/scala-2.11./spar$
export SPARK_HOME=/home/liucc/software/spark/spark-1.0.
备注:SPARK_EXAMPLES_JAR的设置是摘抄自pig2:这一步其实最关键,很不幸的是,官方文档和网上的博客,都没有提及这一点。我是偶然看到了这两篇帖子,Running SparkPi, Null pointer exception when running ./run spark.examples.SparkPi local,才补上了这一步,之前死活都无法运行SparkPi。
2.4 配置Spark,进入到conf目录下面,配置spark-env.sh文件
cp spark-env.sh.template spark-env.sh
nano spark-env.sh
export JAVA_HOME=/usr/dev/jdk1..0_51
export SCALA_HOME=/home/liucc/software/spark/scala-2.11.
2.5 至此配置完毕,可以启动试试,进入sprk目录,可以通过 http://localhost:8080/ 看到对应界面
sbin/start-master.sh
3 测试,下面在spark上运行第一个例子:与Hadoop交互的WordCount
3.1 将文件上传到hadoop中
3.2 进入spark-shell,进入spark根目录
bin/spark-shell
3.3 输入scala语句,不熟悉的话,可以去学习一下,有个公开课https://class.coursera.org/progfun-005,很不错
val file=sc.textFile("要统计的文件")
val count=file.flatMap(line=>line.split(" ")).map(word=>(word,)).reduceByKey(_+_)
count.collect()
如果没错的话会看到结果
3.4 可以将结果上传到hadoop
count.saveAsTextFile("要保存的目录")
---------------------------------------------------------------------------------------
完毕,当然,也可以在Eclipse 中用java测试,网上很多了
Ubuntu 14.10 下安装Spark的更多相关文章
- Ubuntu 14.10 下安装Ganglia监控集群
关于 Ganglia 软件,Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统,如集群和网格.它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数 ...
- Ubuntu 14.10 下安装java反编译工具 jd-gui
系统环境,Ubuntu 14.10 ,64位 1 下载JD-GUI,网址http://221.3.153.126/1Q2W3E4R5T6Y7U8I9O0P1Z2X3C4V5B/jd.benow.ca/ ...
- Ubuntu 14.10 下安装伪分布式hive-0.14.0
本地独立模式,MySQL作为元数据库 1 安装环境准备 1.1 安装JDK,在安装hadoop时候已经安装了,参考http://www.cnblogs.com/liuchangchun/p/40972 ...
- Ubuntu 14.10 下安装navicat
1 下载navicat,网址http://www.navicat.com.cn/download,我下载的是navicat111_premium_cs.tar.gz 2 解压到合适的位置 3 进入解压 ...
- Ubuntu 14.10下安装深度音乐客户端
很多刚从windows系统投靠到ubuntu的机油,在听音乐时不是很舒心.毕竟ubuntu软件中心的很多影音软件都是国外的朋友编写的,所以很多时候国内的朋友用着很不舒服.今天给大家推荐的是国内开发者针 ...
- Ubuntu 14.10 下安装rabbitvcs-版本控制
在Windows下用惯了TortoiseSVN这只小乌龟,到了Ubuntu下很不习惯命令行的SVN,于是经过一番寻找安装了RabbitVCS这款SVN图形化前端工具(官方网站:http://rabbi ...
- Ubuntu 14.10 下安装伪分布式hdoop 2.5.0
折腾了一天,其间配置SSH时候出现了问题,误删了ssh-keygen相关文件,导致配置SSH彻底萎了,又重装了系统.... 采用伪分布式模式,即hadoop将所有进程运行于同一台主机上,但此时Hado ...
- Ubuntu 14.10 下安装Synergy,不同电脑之间公用一套键盘鼠标
因为工作时候有多台电脑放在一起,如果每个用一套键盘鼠标很是不方便,所以希望能够不用电脑之间公用一套键盘鼠标. Synergy可以实现不同电脑之间公用一套键盘鼠标,并且支持简单的复制粘贴.很好用. 它还 ...
- Ubuntu 14.10 下安装Sublime Text 3,注册码,中文输入法
1 下载Sublime Text 3,网址http://www.sublimetext.com/3 2 双击deb安装 3 因为需要需要付费,输入下面的注册码,下面的注册码,来自百度,亲测可行 Sub ...
随机推荐
- Unity3d mesh合并,网格合并具体用法教程
Unity开发Mesh合并网格 本文提供全流程,中文翻译. Chinar 坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 -- 高分辨率用户请根据需求调整网页缩放比例) Chinar -- 心分 ...
- CF1132.Educational Codeforces Round 61(简单题解)
A .Regular Bracket Sequence 题意:给定“((” , “()” , “)(”, “))”四种,问是否可以组成合法括号匹配 思路:设四种是ABCD,B可以不用管,而C在A或 ...
- css完成下图
<div></div> div{ height: 48px; width: 80px; padding: 0 16px 0 32px; background: rgba(0,0 ...
- HPU组队赛J:Ball King(线段树)
时间限制 1 Second 内存限制 512 Mb 题目描述 HPU601球王争霸赛即将举行,ACMER纷纷参加. 现在有n个人报名参赛,每个人都有一个实力值 ai,实力值较大者获胜. 为保证比赛公 ...
- hdu4300 Clairewd’s message 扩展KMP
Clairewd is a member of FBI. After several years concealing in BUPT, she intercepted some important ...
- HTML中嵌套的子frame如何访问父页面中的函数?
我解决的办法,在父页面写了个函数,然后在frame页面调用父页面的函数,具体代码如下: 父:function a(){} 子frame:window.parent.a(); 问题迎刃而解 https: ...
- vue全家桶+Koa2开发笔记(2)--koa2
1. 安装koa脚手架的时候 执行命令 koa2 -e koa-learn 注意要使用-e的方式,才会生成ejs的模板 2. async await的使用方法:存在的意义:提高promise的可读性 ...
- ie6,ie7下a标签无法点击(转载)
前几天在做一个网站的引导页面,因为都是用图片,所以按钮需要用空a标签来做,发现a标签在IE6与IE7中点击无效中点击不了,其他浏览器都正常.一开始以为是z-index的问题,但不论z-index设置多 ...
- mysql自增主键
MariaDB [test]> create table test1(id int primary key auto_increment,name varchar(20))auto_increm ...
- LoadRunner 压测场景制定以及报告分析
这里,我们利用 LoadRunner 来制定场景,且以测试 tps 值为导向,主要介绍手工场景 单服务器的业务请求处理能力 tps 值在 10~200 是合理的:如果是访问单接口不走关系型数据库的,访 ...