一、scala安装

1. 安装jdk

有mac专用的jdk安装包,这里下载安装jdk1.8

2. 安装scala

2.1下载scala

2.2解压到指定目录

tar -zxvf /Users/lodestar/Desktop/临时/scala-2.12.15.tar -C /Users/lodestar/software

2.3环境变量配置

vi ./bash_profile

我本机装过python和maven,这里再加入scala配置

PATH="/Library/Frameworks/Python.framework/Versions/3.7/bin:${PATH}"

export PATH

export M2_HOME=/Library/apache-maven-3.6.3

export PATH=$PATH:$M2_HOME/bin

export SCALA_HOME=/Users/lodestar/software/scala-2.12.15

export PATH=$SCALA_HOME/bin:$PATH

保存退出

source .bash_profile让配置生效

echo $SCALA_HOME 验证配置是否生效

2.4.执行./scala进入控制台

2.5 编写,编译执行scala代码

文件后缀.scala;编译:scalac Helloworld.scala

3.Hadoop安装

3.1下载后解压到指定目录

tar -zxvf /Users/lodestar/Desktop/临时/hadoop-2.8.5.tar.gz -C /Users/lodestar/hadoop

hadoop目录结构如下:

bin:客户端工具

sbin:启动hadoop相关进程的脚本

etc/hoadoop:hadoop配置文件

share:常用例子

3.2 hadoop参数配置

vi ./bash_profile

export HADOOP_HOME=/Users/lodestar/hadoop/hadoop-2.8.5

export PATH=$HADOOP_HOME/bin:$PATH

export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home

export PATH=$JAVA_HOME/bin:$PATH

hadoop-env.sh

export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home

core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:8020</value>

</property>

hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/Users/lodestar/hadoop/tmp</value>

</property>

slaves

hadoop000

3.4.ssh免密码登录,否则启动hadoop需要不断输入密码

--hadoop用户操作

ssh localhost --产生.ssh的隐藏目录

ssh-keygen -t rsa --产生密钥对(1路回车)

cat id_rsa.pub >> authorized_keys --讲公钥写入authorized_keys

chmod 600 authorized_keys --authorized_keys 只有创建者有读写权限

ssh localhost 测试,不需要密码配置成功

3.5 初始化文件系统

第一次启动前格式化文件系统

hdfs namenode -format

3.6 启动hadoop

进入sbin目录:

启动Start-dfs.sh

关闭stop-dfs.sh

3.7验证

Jps命令查询看到namenode和datanode进程

测试一下:

hadoop fs -ls /

hadoop fs -put README.txt /

进入浏览器查看hdfs状态

http://localhost:50070/

4 Spark安装和配置

4.1、Spark安装

tar xvf /Users/lodestar/Desktop/临时/spark-3.0.3-bin-hadoop2.7.tar -C /Users/lodestar/spark

4.2、Spark配置

1.配置环境变量

修改~/.bash_profile

export SPARK_HOME=/Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

使得配置修改生效:source .bash_profile

2.修改配置文件spark-env.sh

1.修改conf下的spark-env.sh.template为spark-env.sh

cp spark-env.sh.template spark-env.sh

2:修改配置

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home

export SCALA_HOME=/Users/lodestar/software/scala-2.12.15

export SPARK_HOME=/Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7

#SPRAK MASTER地址

export SPARK_MASTER_IP=127.0.0.1

export SPARK_LOCAL_IP=127.0.0.1

export SPARK_EXECUTOR_MEMORY=500M

export SPARK_WORKER_MEMORY=1G

#spark master UI地址

export master=spark://127.0.0.1:7070

3.修改配置文件slaves

1.修改conf下的spark-env.sh.template为spark-env.sh

cp slaves.template slaves

echo “localhost” >> slaves

4.启动spark

./start-all.sh

使用jps查看,master上会有Master和Worker,worker节点上会有Worker

http://1192.168.251.86:8080查看spark的web界面

5.执行spark提供的默认demo

spark-submit --class org.apache.spark.examples.SparkPi --master spark://lodestardembp-2:7077 /Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7/examples/jars/spark-examples_2.12-3.0.3.jar

--这里以前写的是localhos:7077,始终不能正常解析,后面换成spark web ui上的机器名

macbook安装scala、hadoop、saprk环境的更多相关文章

  1. Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中

    一.前言 近几年大数据是异常的火爆,今天小编以java开发的身份来会会大数据,提高一下自己的层面! 大数据技术也是有很多: Hadoop Spark Flink 小编也只知道这些了,由于Hadoop, ...

  2. scala+hadoop+spark环境搭建

    一.JDK环境构建 在指定用户的根目录下编辑.bashrc文件,添加如下部分: # .bashrc # Source global definitions if [ -f /etc/bashrc ]; ...

  3. RHEL7.2 安装Eclipse-oxygen Hadoop开发环境

    1 Eclipse-oxygen下载地址 http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/re ...

  4. [Linux] 安装JDK和Maven及hadoop相关环境

    紧接上一篇,继续安装hadoop相关环境 JDK安装:     1. 下载,下面这两个地址在网上找的,可以直接下载:         http://download.oracle.com/otn-pu ...

  5. 安装Scala开发环境

    Scala 介绍 Step 1: 安装 Java开发环境 Scala 版本与Java版本的兼容关系 从Oracle网站下载JDK URL: http://www.oracle.com/technetw ...

  6. linux环境下载和安装scala

    Linux下安装Scala和Windows下安装类似,步骤如下: 1.首先访问下载链接:http://www.scala-lang.org/download/默认这里下载的是Windows版本,这时点 ...

  7. 从VMware虚拟机安装到hadoop集群环境配置详细说明(第一期)

    http://blog.csdn.net/whaoxysh/article/details/17755555 虚拟机安装 我安装的虚拟机版本是VMware Workstation 8.04,自己电脑上 ...

  8. ubuntu环境下eclipse的安装以及hadoop插件的配置

    ubuntu环境下eclipse的安装以及hadoop插件的配置 一.eclipse的安装 在ubuntu桌面模式下,点击任务栏中的ubuntu软件中心,在搜索栏搜索eclipse 注意:安装过程需要 ...

  9. linux安装scala环境

    (安装scala的前提是已经安装好了jdk) 1.下载scala的安装包 wget https://scala-lang.org/files/archive/scala-2.11.0-M2.tgz 2 ...

随机推荐

  1. 使用 arguments 对象

    arguments 对象表示参数集合,它是一个伪类数组,拥有与数组相似的结构,可以通过数组下标的形式访问函数实参值,但是没有基础 Array 的原型方法. //函数没有定义形参,但是在函数体内通过 a ...

  2. 《剑指offer》面试题09. 用两个栈实现队列

    问题描述 用两个栈实现一个队列.队列的声明如下,请实现它的两个函数 appendTail 和 deleteHead ,分别完成在队列尾部插入整数和在队列头部删除整数的功能.(若队列中没有元素,dele ...

  3. 单片机main函数退出后发生什么——以stm32为例

    STM32:main函数退出后发生什么? 我们都在说单片机要运行在无限循环里,不能退出,可退出之后会发生什么? 讨论STM32启动过程的文章数不胜数,可main函数结束之后会发生什么却少有讨论. 几日 ...

  4. golang取地址操作采坑:for idx,item := range arr中的item是个独立对象

    先看代码: package main import "fmt" func main() { type s struct { A string B int32 } arr := [] ...

  5. 【记录一个问题】android ndk中不支持pthread_yield()

    如题 使用这个函数报如下错误: error: use of undeclared identifier 'pthread_yield' pthread_yield(); 不得已,使用usleep(50 ...

  6. visual studio进行机器学习与python编写

    visual studio里的python安装之后自带一个虚拟环境 1.anaconda有些包版本无法到最新. 2.包管理器在安装卸载,强制停止后,包管理器会出问题,一直卸不掉那个包. 在卸载pyth ...

  7. IoC容器-Bean管理注解方式(创建对象)

    IoC操作Bean管理(基于注解方式) 1,什么是注解 (1)注解是代码特殊标记,格式:@注解名称(属性名称=属性值,属性名称=属性值...) (2)使用注解,注解作用在类上面,方法上面,属性上面 ( ...

  8. java-异常-异常注意事项

    1 package p1.exception; 2 3 /* 4 * 异常的注意事项: 5 * 6 * 1,子类在覆盖父类方法时,父类的方法如果抛出了异常, 7 * 那么子类的方法只能抛出父类的异常或 ...

  9. Linux下安装confluence汉化破解版

    Atlassian Confluence(简称Confluence)是一个专业的wiki程序.它是一个知识管理的工具,通过它可以实现团队成员之间的协作和知识共享.Confluence 不是一个开源软件 ...

  10. 前端基础之javaScript(函数)

    目录 一:javaScript函数 1.函数关键字 2.格式 3.无参函数 4.有参函数 二:关键字arguments 1.能够获取函数接受的索引参数 2.关键字arguments(限制函数不能多也不 ...