Hadoop入门学习整理（二）

2020-04-15

在上一篇文章中介绍了Linux虚拟机的安装，Hadoop的安装和配置，这里接着上一篇的内容，讲Hadoop的简要介绍和简单使用， 以及HBase的安装和配置。

1、首先要了解Hadoop的目录：

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

2、了解Hadoop的运行模式：

Hadoop包括3种安装模式
（1）单机模式。只在一台机器上运行，存储采用本地文件系统，没有采用分布式文件系统HDFS
（2）伪分布式模式。存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上
（3）分布式模式。存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。

在Linux虚拟机中安装完Hadoop后默认为单机模式，无需进行其它配置即可运行。

我个人在目前的学习当中，采用伪分布式模式。

若想让 Hadoop在伪分布式模式下顺利运行，则需要配置相关文件。

伪分布式模式：

Hadoop可以在单个节点（一台机器）上以伪分布式的方式运行，同一个节点既作为名称节点（ Name Node），

也作为数据节点（ Data Node），读取的是分布式文件系统HDFS中的文件。

3、伪分布式模式的配置修改

Hadoop的配置文件位于hadoop/etc/ hadoop/中，进行伪分布式模式配置时，需要修改2个配置文件，即 core-site.xml和 hdfs-site.xml。

可以使用vim编辑器打开 core-site.xml文件。

（a）配置：hadoop-env.sh

Linux系统中获取JDK的安装路径：

[guan@ hadoop101 ~]# echo $JAVA_HOME

/opt/module/jdk1.8.0_144

修改JAVA_HOME 路径：

export JAVA_HOME=/opt/module/jdk1.8.0_144

（b）配置：core-site.xml

<!-- 指定HDFS中NameNode的地址 -->

<property>

　　<name>fs.defaultFS</name>

　　<value>hdfs://hadoop101:9000</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

　　<name>hadoop.tmp.dir</name>

　　<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

（c）配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property>

　　<name>dfs.replication</name>

　　<value>1</value>

</property>

修改配置文件以后，要执行名称节点的格式化，命令如下：

[guan@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

【注】第一次启动时格式化，以后就不要总格式化。

我在格式化的过程中出现了以下错误：

原因是没有配置主机名称映射。解决办法：进入/etc/hosts，然后：

再次格式化，成功。

如果要格式化，那么需要在格式化之前：

　（1、查看NameNode和DataNode进程是否关掉。（必须关掉）

　　　　关闭命令：       sbin/hadoop-daemon.sh stop namenode

　　　　　　　　　　　sbin/hadoop-daemon.sh stop datanode

　　　　(2、将/data和/logs删掉

　   (3、格式化NameNode

4、启动伪分布式集群

（a）启动NameNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

（b）启动DataNode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

（c）查看是否启动成功

[atguigu@hadoop101 hadoop-2.7.2]$ jps

13586 NameNode

13668 DataNode

13786 Jps

注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps

启动集群也可以群起： sbin/start-dfs.sh

5.使用Web界面查看HDFS信息

Hadoop成功启动后，可以在 Linux系统中（不是 Windows系统）打开一个浏览器，

在地址栏输入地址http://localhost：50070 就可以查看名称节点和数据节点信息，还可以在线查看HDFS中的文件。

6、遇到bug时，可以查看产生的日志。具体方法如下：

7、关闭Hadoop

　　　　执行命令 /sbin/stop-dfs.sh

接下来是HBase的安装和使用。

（ 具体参考  厦门大学大数据实验室 https://dblab.xmu.edu.cn/blog/install-hbase/）

其实HBase的安装非常简单，先下载 tar 包传输到Linux系统中，然后解压，配置环境变量，这样就好了，和前面的Hadoop安装差不多。

HBase也有三种运行模式：单机模式、伪分布式模式和分布式模式，也是通过修改配置文件来选择模式的。

但是注意，HBase的配置有以下先决条件：

• jdk
• Hadoop（单机模式不需要，伪分布式和分布式需要）
• SSH

其中SSH的配置参考 ：https://blog.csdn.net/lixufei12138/article/details/102556824

接下来就是修改配置文件，按照上面链接的内容即可，这里不做过多的赘述。

这里放一张环境变量的截图，图中顺带有我安装的版本信息。

还是写一下HBase 伪分布式配置：

（1）配置 /opt/module/hbase-1.3.1/conf/hbase-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

export HBASE_CLASSPATH=/opt/module/hadoop-2.7.2/etc/hadoop

export HBASE_MANAGES_ZK=true

(2)配置/opt/module/hbase-1.3.1/conf/hbase-site.xml

接下来就可以登录SSH，启动Hadoop，启动HBase

Hadoop的启动方式为  ./sbin/start-dfs.sh

Hbase 的启动方式为    bin/start-hbase.sh

输入jps查看是否启动成功，看到一下界面说明hbase启动成功

hbase进入shell界面的命令：

bin/hbase  shell

注：Linux中安装eclipse的方式   https://blog.csdn.net/caoyang0105/article/details/77948145