spark伪分布式的安装

不依赖hadoop

百度分享安装包地址：http://pan.baidu.com/s/1dD4BcGT 点击打开链接

解压 并重命名：

进入spark100目录：

修改配置：

Cd conf

配置单击节点，故只需要写本机的hostname就可以了。

重命名Spark-env.sh.template 为 spark-env.sh

增加配置项：

1. export SPARK_MASTER_IP=icity1
2. export SPARK_MASTER_PORT=7077
3. export SPARK_WORKER_CORES=1
4. export SPARK_WORKER_INSTANCES=1
5. export SPARK_WORKER_MEMORY=1g
6. export JAVA_HOME=/jdk/jdk1.7.0_65(提前配置好java环境)

如图所示：

启动

监控页面效果：

进入spark-shell：（运行完后点击回车键就可以写scala代码）

选用了外部文件：

区别于hdfs的读取方式：

退出spark-shell：exit

 

顶