搭建hadpoot平台（集群式分布）

1.先下载VMware1.2，然后安装。

2.下载ubuntu-1.4.05-desktop-amd64.iso。下载地址：http://mirrors.aliyun.com/ubuntu-releases/14.04.5/

3.下载hadoop2.7。下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

4.下载jdk-8u171-linux-x64.tar.gz。到官网下载。参考教程：https://blog.csdn.net/zl007700/article/details/50533675

5.在VMware上安装ubuntu系统。

我安装了好几次。第一次是因为到开机时运行到某个命令行停止运行了，我百度了许多，但是都不管用。然后进行了第二次重装ubuntu系统。安装好之后，登陆密码却忘记了。最后只能再安装一遍，终于成功。

6.新建文件夹software,将hadoop2.7和jdk-8u171-linux-x64.tar.gz拷贝到ubuntu系统的文件夹内,并解压。

7.安装jdk

(1)按“ctrl"+"Alt"+"F6"从图形化界面切换到命令行。

因为“ctrl"+"Alt"和我虚拟机上鼠标移入/移除命令相同。然后选择虚拟机上”编辑“->“首选项”->”热键“修改鼠标移入、移出命令得快捷键。

但是修改之后进入命令行依然有时不灵。

（2）输入命令：sudo mkdir  /usr/lib.jvm

(3)输入命令：sudo cp -r software/jdk1.8.0_171  /usr/lib/jvm/

我输入命令后提示权限不够。然后我想进入root用户，但是密码没有设置，于是先设置root密码,然后进入root用户，

输入命令“cp -r software/jdk1.8.0_171 /usr/lib/jvm/"。

（4）输入“sudo vi /etc/profile"命令打开/etc/profile"文件

我刚开始按照教程上输入的命令时“sudo gredit /etc/profile"，但是报错。后来又用上面的命令打开文件。

（5）在末尾加上四行：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171

export JAVA_HOME=${JAVA_HOME}/jre

export  CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

在编辑文件前先输入“i",编辑文件完成后按”esc",输入“：wq"保存文件并退出。

（6）输入“source /etc/profile”执行文件

输入“java –version”查看环境是否配置成功

8.安装配置SSH

(1)输入“sudo apt-get update”，更新apt

但是发现提示“连接失败”，于是到百度找到阿里云的sources.list文件更换。在sources.list更换成功后，发现还是报“404”错。发现虚拟机上不能连接网络。

然后在VMware上设置虚拟机联网为桥接网络。

重启虚拟机，发现虚拟机已联网。

然后重新输入“sudo apt-get update“执行

（2）输入“sudo apt-get install openssh-server”

输入“ssh localhost”查看SSH是否安装成功

（安装成功）

（3)生成密匙

输入“ssh-keygen –t rsa”然后一直按回车选择默认。

（4）实现了mater对slave1, slave2的无密码登陆。但是这一步有点错。正确操作参考：https://blog.csdn.net/zl007700/article/details/50533675

9.选择克隆出另外一台虚拟机Slave1 Ubuntu 14.10 64bit 。

虚拟机右键-》管理-》克隆。选择完整克隆。

9.配置hadoop

(1)在software/hadoop-2.7.6文件夹下新建文件new.txt。输入：

mkdir  software/hadoop-2.7.6/tmp
mkdir software/hadoop-2.7.6/hdfs

mkdir software/hadoop-2.7.6/hdfs/nam

mkdir software/hadoop-2.7.6/hdfs/data

保存。

（2）到命令行查看ip。

输入“ifconfig -a”

虚拟机1：192.168.43.96

虚拟机2：192.168.43.229

（2）修改hosts。输入“sudo gedit /etc/hosts”

修改成：

但是因为图形界面没有管理员权限。所以只能在命令行的模式下进行修改

（3）修改环境变量

先切换当前目录到hadoop-2.7.6。输入“cd ~/software/hadoop-2.7.6/"

再在“hadoop-env.sh”文件中修改路径。输入“vi etc/hadoop/hadoop-env.sh”,然后修改JAVA_HOME的路径。

☆因为在命令行修改文件内容实在太困难了，所以我想在图形化界面登录root用户来修改文件。

设置图形化界面登录root:输入“vi /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf“

但是最后不知道为什么登陆界面还是没出现root登陆。

但是发现在图形化界面可以修改“etc/hadoop/hadoop-env.sh”内容。

（4）在相同文件夹下的core-site.xml进行修改

（5）

(5)

(6)

(7)分发配置好的hadoop文件夹到slave1, slave2

(8)格式化hdfs

(9)启动集群

启动后分别在两台虚拟机上查看jps