Hadoop入门学习整理（一）

今天是2020年4月8日，是一个平凡而又特殊的日子，武汉在经历了77天的封城之后，于今日0点正式解封。从1月14日放寒假离开武汉，到今天已近3个月，学校的花开了又谢了。随着疫情好转，春回大地，万物复苏，武汉这座城市又活了起来。想念桂子山！

在家里这段时间学习了JavaSE基础，学习了Linux的基本命令，安装Linux虚拟机，用Xshell远程登录Linux服务器，用Xftp在本地Windows系统和远程Linux系统之间上传下载文件，学习了大数据入门，对Hadoop生态系统有一个初步的了解，在Linux系统中安装Hadoop，安装jdk，安装hbase，另外还学习了MySQL基础，会简单的增删改查。然后从今天开始，希望在这里记录自己每天的学习，希望每天都有一点点进步。

言归正传，接下来对最近学习的Hadoop做一个总结。主要是从安装虚拟机到安装jdk和Hadoop这一部分内容。

具体步骤：

1、在VMware12上面安装Linux虚拟机（CentOS-6.10版本），并且能够联网，然后安装Vmware Tools，方便Linux和Windows之间复制粘贴，熟练掌握Linux文件系统的目录结构，学会Linux的基本指令和用户管理。

（安装 Vmware 和 centos6.10 可参考 https://blog.csdn.net/lx940112/article/details/80159509  和   https://www.cnblogs.com/cao-yin/p/11550178.html）

（安装Vmware Tools 可参考 https://www.cnblogs.com/yujianadu/p/10454915.html）

（学习Linux可参考 http://c.biancheng.net/linux_tutorial/）

2、安装XShell和XFTP5两个软件，分别用于远程登录和远程上传下载文件。

（安装 XShell 和 Xftp 可关注微信公众号：软件安装管家，并回复 xshell）

（在连接XShell之前，需要给Linux进行网络配置，参考 https://jingyan.baidu.com/article/76a7e409ed694dfc3a6e1548.html）

（XShell连接到Linux，参考 https://jingyan.baidu.com/article/36d6ed1f7520991bcf4883e6.html）

3、克隆虚拟机（Hadoop100克隆出Hadoop101 ）（这一步伪分布式不是必须）

　　第一步：在hadoop100中先创建hadoop用户，关闭防火墙。

　　第二步：克隆

　　第三步：进行Hadoop 101的相关设置：修改ip地址、配置网络、修改主机名称、关闭防火墙。（https://blog.csdn.net/qq_39192827/article/details/85952823）

　　开机，登录root账号

（1）修改克隆机的ip地址

终端输入 vim  /etc/udev/rules.d/70-persistent-net.rules  然后三件事

第一件：删除（dd命令）父本克隆过来的网卡，即第一个SUBSYSTEM

第二件：把下面一个SUBSYSTEM中的网卡名（NAME）改为eth0

第三件：复制MAC地址，ATTR{address}==“复制这部分内容”

：wq  保存退出

（2）配置网络

终端输入 vim  /etc/sysconfig/networking-scripts/ifcfg-eth0  然后两件事

第一件：修改MAC地址，HWADDR=刚刚复制的MAC

第二件：修改IP地址，192.168.1.100 ----改为---> 192.168.1.101

（3）修改主机名称

终端输入 vim  /etc/sysconfig/network  然后

修改HOSTNAME=hadoop101

（4）配置主机名称映射，方便通信

终端输入  vim  /etc/hosts

在最后添加  192.168.1.100  hadoop100

192.168.1.102  hadoop102（如果有的话就添加）

注：在Windows系统中也可以添加主机名称映射，具体方法如下：

进入 C:\windows\System32\drivers\etc\hosts 最后同样方法添加 ip地址 主机名称

（5）reboot重启，ping测试通信

4、安装jdk并配置环境变量，安装Hadoop并配置环境变量。

（https://blog.csdn.net/SXY16044314/article/details/90550543）

准备工作

（1）给普通用户授予root权限

大部分和安全相关的命令，只有root用户才有权限执行，如果希望普通用户可以直接使用，又避免切换到root用户的麻烦操作，可以为普通用户赋予root权限。

首先了解 sudo 和sudoers  （https://blog.csdn.net/iteye_2642/article/details/82510194）

sudo是Linux下常用的允许普通用户使用超级用户权限的工具，sudo的配置文件是sudoers文件，该配置文件的位置是/etc/sudoers。

最简单的配置，让普通用户（用户名为support）具有所有的root权限，通过修改 /etc/sudoers，方法如下：

su  root   //需要在root用户

vim  /etc/sudoers     //去95行，G+95，复制一行，在下面再添加一条配置

support  ALL=(ALL)  ALL

然后esc，接着：wq保存退出

注：修改完毕，现在可以用support帐号登录，然后用命令 sudo ，即可获得root权限进行操作。  （super user do）

（2）关闭防火墙

（防止无法访问hdfs，需要使用sudo命令）

如果需要克隆虚拟机，那么在克隆之前就关闭，避免克隆之后给每台虚拟机关闭。

这里用到service后台服务管理：

service  + 服务名 + 命令

其中命令包括：start开启 / stop关闭 / restart 重启 / status查看服务状态

查看防火墙状态：sudo  service  iptables status

关闭防火墙：sudo service iptables stop

正式安装

（1）在/opt目录下面创建/software目录和/module目录

其中/software目录用于存放今后需要用到的安装压缩包jar包（jdk、hadoop、hbase等），即利用xftp软件将Windows里面的安装包直接传输到/software下面，然后将压缩包解压到/module目录下面。

注：可以利用以下命令更改文件夹的所有者和所在组：

sudo  chown  guan:guan  文件名  -R        // -R表示递归

解压命令为：

tar  -zxvf  文件名  -C  解压到的目录（这里是/opt/module）

（2）重命名

为了方便使用，可以用以下命令给文件重命名：

mv   hadoop-2.7.2   hadoop

mv   jdk-1.8.2  jdk

（3）配置环境变量

进入jdk目录，使用pwd命令查看路径，将此路径复制下来。

进入hadoo目录，使用pwd命令查看路径，将此路径复制下来。

然后 进入/etc，编辑profile文件  vim  profile

在profile中添加的内容如下：

###JAVA_HOME

export  JAVA_HOME=刚刚复制的jdk路径

export  PATH=$PATH:$JAVA_HOME/bin

###HADOOP_HOME

export  HADOOP_HOME=刚刚复制的hadoop路径

export  PATH=$PATH:$HADOOP_HOME/bin

export  PATH=$PATH:$HADOOP_HOME/sbin

然后 ：wq   保存退出，至此环境变量配置好了。

（4）让刚刚配置的环境变量生效并测试

/etc下命令：  source  profile

测试是否安装成功：

java  -version

hadoop  version

至此jdk和Hadoop安装完成！

Hadoop安装完成之后，接下来就是本地模式、伪分布式和完全分布式的配置和使用。