Linux下的ssh、scala、spark配置

注：笔记旨在记录，配置方式每个人多少有点不同，但大同小异，以下是个人爱好的配置方式.

目录

• 一、配置jdk
• 二、配置ssh
• 三、配置hadoop
• 四、配置scala
• 五、配置spark

平台：win10下的ubuntu虚拟机内

所用到的文件：

hadoop-2.7.3.tar

jdk-11.0.7_linux-x64_bin.tar.gz

scala-2.11.12.zip

spark-2.4.5-bin-hadoop2.7_Working_Config.zip

下载请点这里 ：s81k

预先步骤：

将上述文件下载并拷贝到虚拟机共享目录下（mnt/hgfs/共享文件夹名字）（外部window平台操作）

将共享文件夹下文件拷贝到usr/local下（llinux虚拟机内操作）。

常用代码：

切换到管理员代码：sudo su

修改文件权限：sudo chown -R 用户名 文件名(/*)

设置环境变量：vim ~/.bashrc

应用环境变量：source ~/.bashrc

一、配置jdk

1.1 打开终端，进入到usr/local目录下，直接解压文件jdk-11.0.7_linux-x64_bin.tar.gz到当前目录下，并改名，代码如下：

cd //usr/local

sudo mv dk-11.0.7_linux-x64_bin java

1.2 配置环境变量：

vim ~/.bashrc

1.3 在打开文件中加入以下代码：

#JAVA
export JAVA_HOME=/usr/local/Java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:.

1.4 应用修改：

source ~/.bashrc

1.5 测试，能看到java版本则是配置成功：

java -version

二、配置ssh

2.1 创建文件.ssh: mkdir ~/.ssh

2.2 修改权限： chmod 700 ~/.ssh

2.3 生成公钥和私钥（一路回车）： ssh-keygen –t rsa

2.4 将密钥加入授权：cat ./id_rsa.pub >> ./authorized_keys

2.5 测试：ssh localhost

三、配置hadoop

3.1 进入到usr/local目录下，直接解压文件hadoop-2.7.3.tar到当前目录下，并改名：

cd //usr/local

sudo mv hadoop-2.7.3 hadoop

3.2 修改文件权限：

sudo chown -R 用户名 hadoop

sudo chown -R 用户名 hadoop/*

3.3 查看版本号以及是否安装好：

uhadoop/bin/hadoop version

3.4 设置环境变量：vim ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:/usr/local/hadoop/bin

3.5 应用修改：source ~/.bashrc

3.6 修改配置文件：（hadoop/etc/hadoop目录下，个人直接找到文件打开用文本编辑器编辑了）

vim core-site.xml

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
    </property>
    <property>
       <name>hadoop.tmp.dir</name>
       <value>/usr/local/hadoop/hadoop_tmp</value>
       <description>A base for other temporary directories.</description>
    </property>
</configuration>

vim hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

vim mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
   <value>localhost:9001</value>
  </property>
</configuration>

3.7 对namenode格式化： hadoop/bin/hadoop namenode –format

3.8 启动hadoop：hadoop/sbin/start-all.sh

3.9 检测进程：jps

有以下进程则是成功：

DateNode、nameNode、Jps、ResourceManager、SecondaryNameNode、NodeManager

四、配置scala

4.1 进入到usr/local目录下，直接解压文件scala-2.11.12.zip到当前目录下，并改名：

cd //usr/local

sudo mv scala-2.11.12 scala

4.2 设置环境变量：vim ~/.bashrc

export SCALA_HOME=/usr/local/scala

4.3 应用修改： source ~/.bashrc

五、配置spark

5.1 进入到usr/local目录下，直接解压文件spark-2.4.5-bin-hadoop2.7_Working_Config.zip

到当前目录下，并改名：

cd //usr/local

sudo mv spark-2.4.5-bin-hadoop2.7_Working_Config spark

5.2 设置环境变量：vim ~/.bashrc

export SPARK_HOME=/usr/local/hadoop

5.3 应用修改：source ~/.bashrc

5.4 配置spark：

vim spark-env.sh

export JAVA_HOME=/urs/local/java
export HADOOP_HOME=/urs/local/hadoop/
export HADOOP_CONF_DIR=//urs/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=5G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/native

所有环境变量（里面设置有一点点问题，不过不影响）： ~/.bashrc

export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark

5.5 启动spark（hadoop已经启动的情况下）：

cd usr/local/spark

bin/spark-shell

出现spark的欢迎界面，配置成功了！