spark0.9.0安装

利用周末的时间安装学习了下最近很火的Spark0.9.0(江湖传言，要革hadoop命,O(∩_∩)O)，并体验了该框架下的机器学习包MLlib(spark解决的一个重点就是高效的运行迭代算法)，下面是整个安装过程(图文并茂)

说明：安装环境，centos64位12G的服务器

安装方式，单机伪分布式版

一，安装JDK

由于机器之前已经安装了jdk1.7.0，此步骤略去，网上可以搜到很多安装教程。

二，安装Hadoop

我这里安装的是hadoop2.2.0

第1步，添加hadoop用户(可选)

第2步，ssh免密码登陆

首先，安装Openssh

然后，设置ssh的免密码登陆

红框的是输入了key存放的路径位置。

然后，cd到这个目录下

输入后，chmod 600 authorized_keys

最后验证，是否可以免密码登陆

第3步，hadoop2.2.0安装

用户wget命令下载hadoop

$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

解压到目录里面(我解压的目录是:/home/hadoop/)

$ vim ~/.bashrc
  export HADOOP_PREFIX=/home/hadoop/hadoop-2.2.0

export
HADOOP_COMMON_HOME=$HADOOP_PREFIX

export
HADOOP_HDFS_HOME=$HADOOP_PREFIX

export
HADOOP_MAPRED_HOME=$HADOOP_PREFIX

export
HADOOP_YARN_HOME=$HADOOP_PREFIX
  export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
  export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

修改配置hadoop-env.sh，把java路径写进去

修改配置core-site.xml

修改配置hdfs-site.xml

修改配置mapred-site.xml

namenode格式化

bin/hdfs namenode -format

启动namenode,datanode,resourcemanager,nodemanager

第4步，Spark0.9.0安装

第一步，下载安装scala

wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz

解压scala,放到/usr/lib下面

修改环境变量  vim /etc/profile

修改完成之后source /etc/profile

第二步，下载安装spark

wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating-bin-hadoop2.tgz

解压spark，tar -zxvf spark-0.9.0-incubating-bin-hadoop2.tgz

修改环境变量，在/etc/profile里面加上spark目录  

修改完后，source /etc/profile

打开hadoop,namenode,datanode,resourcemanager,nodemanager

打开spark里面sbin下面的start-all.sh

至此，单机版的spark环境已经搭建完成了，下面体验下spark自带的例子，计算圆周率pi

在bin目录下，执行./run-example org.apache.spark.examples.SparkPi

运行结果如下

算出来pi=3.1362

体验MLlib

MLlib目前包括分类(LR,SVM,NB)、聚类(Kmeans)、推荐(ALS,MF)三大模块,关于这些算法，官网也给了些例子，目前包含有scala,java,python三种API，http://spark.apache.org/docs/0.9.0/mllib-guide.html，先试试LR

第一种方法是：可以在pyspark shell 上一行一行运行，如下图所示

类似跟python shell一样，一行一行执行，不过要注意的地方就是，上面代码中的sc.textFile()，最好写本文文件的全路径

还有一种方法是：把代码写成*.py文件，然后通过bin/pyspark *.py的方式来执行

 from pyspark.mllib.classification import LogisticRegressionWithSGD
 from numpy import array
 from pyspark.context import SparkContext
 #一定要创建sparkcontext(该类定义请参考文档)，上一个方法因为在pyspark shell上，已经自定了SparkContext
 sc=SparkContext('local','test')
 # Load and parse the data
 data = sc.textFile("/home/hadoop/spark-0.9.0/mllib/data/sample_svm_data.txt")
 parsedData = data.map(lambda line: array([float(x) for x in line.split(' ')]))
 model = LogisticRegressionWithSGD.train(parsedData)

 # Build the model
 labelsAndPreds = parsedData.map(lambda point: (int(point.item(0)),
         model.predict(point.take(range(1, point.size)))))

 # Evaluating the model on training data
 trainErr = labelsAndPreds.filter(lambda (v, p): v != p).count() / float(parsedData.count())
 print("Training Error = " + str(trainErr))

执行的结果如下所示，

给出了逻辑回归里面的回归系数跟截距项，最后分类结果如下

得到的训练错误率为39.8%，可以看到用的时间还是非常快的，OK，其他的算法，也可以通过类似的方式体验了，整个MLlib使用起来还是相当的简单，代码量也小，接下来，学习下里面的机器学习算法源代码(现实使用需要结合业务特点，去修改里面的一些源码)。

本篇完