Hadoop3集群搭建之——虚拟机安装

　　现在做的项目是个大数据报表系统，刚开始的时候，负责做Java方面的接口（项目前端为独立的Java web 系统，后端也是Java web的系统，前后端系统通过接口传输数据），后来领导觉得大家需要多元化发展，要全面发展。就让大数据组的同事，给我们报表组的同事培训了下大数据方面的知识，主要是hive的。就这样就开启了新的篇章，虽然比较腹议，自此大数据离线数据计算的工作就交给我们报表组了，我们还是欣然的接受了，我自己还是相当想向大数据方面发展的。

　　自此，开启了大数据开发的篇章。

---------------沉默的分割线-----------------------------

学习Hadoop开发，当然少不了搭建Hadoop集群了。

最方便的搭建环境，当然是在自己电脑上安装虚拟机（土豪请出门右转）

下面进入正题。

本着最新、最快、最强的原则，我选择了centos7，jdk8，hadoop3 作为我测试的平台。

不解释，上下载链接：

centos7 ： https://www.centos.org/download/

　　centos 各个版本简介：　　　　

DVD ISO ： 标准版（一般选择）
Everything ISO ： 对标准版进行补充，集成所有软件
Minimal ISO ： 最小版（高手选择）

jdk8 ： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

　　进oracle的官网下载就是了

hadoop3 ：http://hadoop.apache.org/releases.html

具体选择如下：

　　centos 7 DVD，选一个镜像下载即可

　　jdk 很早就有使用过了，没有下在，使用的版本是 ： jdk-8u91-linux-x64

　　hadoop版本： 3.0.1  （安装的时候，3.1.0 还未出来）

系统镜像下载完成后即可安装虚拟机。

---------------------以下为正文--------------------------

vmware：

　　1、创建虚拟机

　　2、选择典型安装，下一步

　　3、选择第二项 Installer disc image file(iso) : 选择下载的系统镜像，下一步

　　　　　　

　　4、命名虚拟机，这里以虚拟机将要使用的主机名命名，选择安装路径，下一步

　　　　　　

　　　　说明：我的C盘是个256G的ssd，所以虚拟机直接安装在了C盘，请使具体情况选择安装位置，安装后可以移动。

　　5、配置虚拟机硬盘大小，文件是否使用多文件。选择20G，单文件存储，下一步

　　　　

　　　　20G的硬盘大小，开发足够使用，要是需要很大空间，视具体情况调整。20G足够，大点也可以。

　　　　我的主节点给了40G，其他节点都是20G。

　　　　如下图：安装完成后

　　　　　　　　40G的还有32G剩余空间

　　　　　　　　20G的还有13G剩余空间

　　6、点击“customize hardware..”，修改硬盘配置，点击完成。

　　　　修改内存：选择合适的内存（1G足够，越多越好，虚拟机内存加起来不能超过物理机的一半），我的内存比较大，主节点选的2G，其他节点都是1G

　　　　修改网络：选择桥接，复制物理连接

　　7，选择 “Install CentOS 7” 开始安装。

　　　　

　　8、选择语言 "English "  "English (United States)" ，点击 “Continue”

　　　　

　　9、选择硬盘分区，保持默认，点击 “Done” ，返回前页，点击右下角 “Begin Installation” ,开始安装

　　　

　　

　　10、设置root用户密码，密码简单，点击两次“Done” 直接设置。坐等系统安装完成（我的机器几分钟就完成了）。

　　　　

　　

　　11、安装完成后，点击右下角“Reboot”，重启电脑。

　　12、使用root 登录系统

　　　　

　　13、修改主机名：

　　　　 vi /etc/hostname

　　　　删除文件里面的内容，直接数据主机名

　　　　结果如下：

　　　　　　

　　14、修改IP为静态IP

　　　　vim /etc/sysconfig/network-scripts/ifcfg-ens33  文件后面可能不一样

　　修改前，修改后如下，ip视具体情况定

　　我的主机ip地址为：192.168.1.107

　　venn05虚拟机ip地址为： 192.168.1.5

　　venn06虚拟机ip地址为： 192.168.1.6

　　依次类推

　　　　

　　15、重启网络，查看ip，ping 百度（ip： 119.75.217.109）

　　　　service network restart

　　　　

　　16、关闭防火墙

　　　　停止firewall ： 　　　　systemctl stop firewalld.service

　　　　禁止firewall开机启动 ： systemctl disable firewalld.service

　　注：centos 使用 firewall 作为默认防火墙，不是iptables

　　

reboot 重启电脑，安装完成，其他节点虚拟机安装相同。

 至此虚拟机安装完成。

集群搭建完成后，我发现vmware 有个“clone” 的功能，可以克隆虚拟机，不用重复安装。

 

1、克隆，关闭虚拟机，右键虚拟机，选择“manage”，选择“clone”，

2、下一步

3、下一步

4、选择“create a full clone” 下一步

5、命名虚拟机，修改安装位置，下一步

6、点击“close” ，完成克隆。

克隆完成的虚拟机注意修改主机名和ip地址。

下篇：Hadoop3集群搭建之——安装hadoop，配置环境

　　Hadoop3集群搭建之——配置ntp服务

　　Hadoop3集群搭建之——hive安装

Hadoop3集群搭建之——hbase安装及简单操作