环境搭建-CentOS集群搭建

写在前面

最近有许多小伙伴问我，大数据的hadoop分布式集群该如何去搭建。所以，想着，就写一篇博客，帮助到更多刚入门大数据的人。本博客会一步一步带你实现一个Hadoop的搭建。跟着博客上面的步骤，很详细的。你很快就会有一个自己的hadoop集群啦。

我是在自己的windows机器上使用virtualBox来虚拟三台机器，作为实验的环境。

实验环境

Windows 宿主机：Windows 10 （其余也是可以的）

VirtualBox 版本：VirtualBox 5.1.22

CentOS 版本：CentOS 6.9

Xshell 版本：Xshell 5

可能许多的小伙伴，会因为找软件比较麻烦。我这里直接分享在了我的百度云的链接，方便大家下载：

链接：http://pan.baidu.com/s/1c24gbUK 密码：8h1r

接下来，我们就开始创建虚拟机

使用VirtualBox创建虚拟机

使用VirtualBox创建三台CentOS作为项目实验集群。

跟着下面的步骤就好：

打开virtualBox软件,我们new一个：

接下来，我们点击设置按钮

设置我们的存储，把我们的镜像添加进去

设置我们的网络连接（很重要）

上面的设置完成之后，我们就可以开启，开始安装centos了

接下来的两项默认就好，这里需要注意一下

设置时区为亚洲，上海

设置密码，我这里为了方便，直接设置为123456

由于密码安全太低，这里选择不管如何都使用就好

磁盘分区，默认就好

等待它自己安装，这个时候，你也可以按照这个步骤再去新建两台机器

会出现reboot的按钮，重启就好

重启之后，我们输入账号密码，进入：

一开始是没有ip的，是需要我们设置的，

设置IP

设置网卡onboot=yes即可，自动获取

[root@localhost ~]# cd /etc/sysconfig/network-scripts/

[root@localhost network-scripts]#

[root@localhost network-scripts]# vi ifcfg-eth0

DEVICE=eth0

HWADDR=08:00:27:72:EC:EE

TYPE=Ethernet

UUID=6b262313-ddd5-4a97-bb75-771ea5621f91

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=dhcp

#:wq 保存退出

重新启动网络

[root@localhost network-scripts]# service network restart

测试，去ping百度：

到这里我们的centos就安装好了，说明一下，网络一定要连通，不然，后面，会比较麻烦。

依据，这个操作，我们再重新新建两台机器。

使用Xshell连接我们的服务器

xshell这个软件还是很好用得，

新建连接

接下来，就是输入用户和密码，输入就好。

这里把下面的框选上，这样以后就不用输账号密码了

上面就表示登录成功了

安装常用软件

下面安装lrzsz这个软件，是用来传输文件的，比较实用的一个软件，当然，你也可以选择自己的方式

[root@localhost ~]# yum -y install lrzsz

....

Installed:

  lrzsz.x86_64 0:0.12.20-27.1.el6                                                       

Complete!

好啦，到这里我们就安装好了

安装JDK环境

在开始安装之前，

我们先新建一个目录，这样比较规范，这个看个人习惯就好

[root@localhost ~]#

[root@localhost ~]# mkdir app

[root@localhost ~]# mkdir softwares

[root@localhost ~]#

[root@localhost ~]# mkdir lib

[root@localhost ~]#

[root@localhost ~]# mkdir data

[root@localhost ~]#

#app软件安装的目录

#softwares软件的存放目录

#lib架包的存放目录

#data测试的数据存放目录

接下来，我们把jdk文件上传到我们的服务器，

使用rz命令

上传完毕之后，就开始解压到app目录下

[root@localhost softwares]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C ../app/

解压完毕之后，就可以配置环境变量

[root@localhost ~]# vim ~/.bash_profile

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

        . ~/.bashrc

fi

export JAVA_HOME=/root/app/jdk1.8.0_144

export PATH=$JAVA_HOME/bin:$PATH

再source一下，使得我我们的环境变量生效，

[root@localhost ~]# source ~/.bash_profile

[root@localhost ~]#

[root@localhost ~]# java -version

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

[root@localhost ~]#

到这里，我们就安装好了我们的JDK环境

至于，另外的两台，我们可以先不用配置，后面，我们可以直接scp过去。

补充说明一下，有的小伙伴可能会发现，我创建过程中的名称为hadoop004,这是因为，我之前做hadoop000的时候，做好了，忘记保存了，就丢失了，这是我补充的。码字不易，不洗勿喷。

到这里，我最终配置好的centos集群是：

hadoop000 192.168.1.61

hadoop001 192.168.1.62

hadoop002 192.168.1.63

,接下来，就可以开始Hadoop集群的搭建了，后面的地址是：

http://blog.csdn.net/liuge36/article/details/78613910