Hadoop入门学习随笔

推荐视频：慕课网http://www.imooc.com/video/8107

===Hadoop是什么？

开源的、分布式存储+分布式计算平台。

http://hadoop.apache.org

===Hadoop的组成

包括两个核心组成：

HDFS：分布式文件系统，存储海量的数据

MapReduce：并行处理框架，实现任务分解和调度

===Hadoop可以用来做什么？

搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。

===Hadoop的优势：

高扩展：理论上是可以做到无限的，因为在它的设计框架下面，可以通过一些简单的增加一些硬件来提升性能和容量

低成本：借鉴Google的思想，借助普通的PC机就可以实现。

成熟的生态圈：借助开源的力量，围绕Hadoop有很多开源的工具。

===Hadoop的应用情况

===Hadoop生态系统

*HDFS全称：Hadoop Distributed File System

常用开源工具有：

Hive：利用Hive可以不用编写复杂的Hadoop任务程序，只需要写一个SQL语句，Hive就会将SQL转换成一个Hadoop任务。降低了使用Hadoop的门槛。

HBase：存储结构化数据的分布式数据库。与传统的关系型数据库不同，HBase放弃了事务这个特性，追求更高的扩展。和HDFS不同，HBase提供数据的随机读写和实时访问，实现对数据库的读写功能。

zookeeper：动物管理员。就像动物管理员一样，它要监控Hadoop集群里面每个节点的状态，管理整个集群的配置，维护节点之间的数据一致性等等。

===Hadoop的安装

（1）前提准备

①、安装JDK

②、配置无秘钥访问。

（2）配置文件

我这里使用的是hadoop-2.5.1。各个配置文件的详解，可以参考一下两个网站：

官网：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/ClusterSetup.html

博客：http://blog.163.com/yangshaohui_2004/blog/static/618545020144495622847/

博客：http://slaytanic.blog.51cto.com/2057708/1101111/

（3）环境变量

vim /etc/profile

export HADOOP_HOME=/opt/hadoop1.2.1

exprot PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

source /etc/profile

（4）结果验证

配置完了之后，在任意位置输入hadoop命令，都应该可以正常执行。

在执行之前，需要对namenode进行格式化操作：hadoop namenode -format

使用start-all.sh启动hadoop。

使用jps命令查看hadoop是否正常执行，正常执行时的进程如下：

7005 JobTracker

7329 Jps

6824 DataNode

7259 TaskTracker

6647 NameNode

7001 SecondaryNameNode

===HDFS的基本概念

-块（Block）　　HDFS的文件被分成块进行存储，块的默认大小64MB，块是文件存储处理的逻辑单元。

-NameNode　　 是管理节点，存放文件元数据。包括：①文件与数据块的映射表，②数据块与数据节点的映射表

-DataNode　　  HDFS的工作节点，存放数据块。

===HDFS数据管理策略

1）数据块的放置：每个数据块3个副本，分布在两个机器内的三个节点。

2）心跳检测：DataNode与NameNode之间有一个心跳协议，每隔多少秒钟DataNode会想NameNode报告状况（发送心跳信息）。

3）二级NameNode：二级NameNode定期同步元数据映像文件和修改日志。NameNode发生故障时，备胎转正。

===HDFS读取文件的流程

1）从客户端向NameNode发送读取数据请求。这个请求可能是一个Java程序，也可能是一个命令行。

2）NameNode返回元数据信息。告诉客户端，这些数据都有哪些块，这些块都在哪里可以找到等。

3）客户端从DataNode中下载数据块并进行组装。

===HDFS写入文件的流程

1）将文件拆分成固定大小的块，通知NameNode。

2）NameNode会找到一些可用的DataNode返回给客户端。

3）根据返回的结果将数据块写入DataNode。写入时，先写入一个块。

4）对写入的数据块进行进行流水线复制。

5）更新元数据。告诉NameNode更新已经完成，创建了一个新的数据块。

===HDFS特点：

1、数据冗余，硬件容错

2、流式的数据访问：就是一次写入多次读取，一旦写入之后不会进行修改。

3、适合存储大文件。如果大量的小文件的话，NameNode的压力会很大。

4、适用性和局限性

-适合数据批量读写、吞吐量高

-不适合交互式应用，低延迟很难满足

-适合一次写入多次读取，顺序读写

-不支持多用户并发写相同文件

===HDFS使用

HDFS里面提供了Shell接口。

hadoop namenode -farmat：安装完hadoop在启动之前的格式化命令

hadoop fs -ls /xxxx：打印当前HDFS的文件夹。/xxxx为要打印的文件夹路径。/为根目录。

hadoop fs -put xxxx：将本地文件提交到HDFS。xxxx为要提交的文件名。

hadoop fs -mkdir xxxx：建立路径。xxxx为要建立的路径。

hadoop fs -rm xxxx：删除文件。xxxx为要删除的文件。

hadoop fs -cat xxxx：查看文件。xxxx为要查看的文件。

hadoop fs -get xxxx yyyy：从HDFS下载文件至本地。xxxx为要下载的文件名，yyyy为本地路径。

hadoop dfsadmin -report：查看文件系统的所有信息。

===什么是MapReduce？

简单的说MapReduce采用了分而治之的思想，将一个大任务分成多个小的子任务（Map），

然后由多个小节点并行执行然后合并结果，合并的过程就是（Reduce）。

其实，很多计算的任务都可以抽象成两个步骤，一个Map、一个Reduce。

如：找出5000张扑克中，缺失的一张。

再如：100GB的网站访问日志文件，找出访问次数最多的IP地址

1）先把日志进行切分。如按时间切分。

2）统计没份文件中相同IP的访问次数。

3）根据一定的规则进行交换，归约IP的访问次数。

网上摘录的对 MapReduce 的最简洁明了的解析：

我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。

现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。

===MapReduce的运行流程（Hadoop1.X）

--Job&Task：

一个任务/作业。

如找出访问次数最多的IP地址。一个Job下分为多个Task，Task又分为MapTask和ReduceTask。

--JobTracker：

一个Mast管理节点。

负责接收客户端的任务，将任务房到候选队列里面，在适当的时候进行调度，选择一个Job出来，将Job分成多个Map和Reduce，然后分发给TaskTracker来处理。总结来说JobTracker的角色如下：

•作业调度

•分配任务、监控任务执行进度（TaskTracker在做的时候会定时给JobTracker通知状态）

•监控TaskTracker的状态

--TaskTracker：

在部署的时候，TackTracker往往和HDFS的DataNode是同一组物理节点，以保证计算是跟着数据走。总结来说TaskTracker的角色如下：

•执行任务

•汇报任务状态

===MapReduce作业执行过程

对输入数据进行分片，按照一定的规则分给TaskTracker。分配Map任务。

任务处理好之后产生一个中间结果（key-value对），key和value根据一些映射规则进行交换。

然后到Reduce端进行处理，运算完之后，数据结果写会到HDFS里面。

Map-Reduce可以进行多次。完成复杂的计算操作。

===MapReduce的容错机制

有两种机制：

1）重复执行：默认重复执行4次只有，如果仍然出错，将放弃执行

2）推测执行：在整个任务执行过程中，需要等待整个Map端都计算完成之后，Reduce端才会开始。

这个时候，可能会存在某个节点计算特别慢。JobTracker一旦发现这种情况，将重新安排一个TaskTracker去做同样的事情，只要这个事情两者谁先完成，就会将另一个终止执行。

===MapReduce应用案例（WordCount单词计数）

1）思考实现过程

计算文件中出现每个单词的频数，输出结果按照字母顺序排序。

2）编写实现代码。如WordCount.java，包含Mapper类和Reducer类。

3）编译WordCount.java成Class。命令如下：

　　javac -classpath /opt/hadoop-1.2.1/hadoop-cour-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jar -d word_count_class/ WordCount.java

4）打包。命令如下例:

　　jar -cvf WordCount.jar *.classes

5）作业提交。命令如下：

　　hadoop jar WordCount.jar WordCount input output

===利用MapReduce进行排序

数据排序是许多任务数据中的第一项任务。

基本思路：将数据进行分片，然后进行Reduce真正排序。如下例：

--END--